Sqoop安装配置及将mysql数据导入到hdfs中



1.  解压Sqoop以及jar包拷贝

1)      Hadoop版本为1.0.4，下载sqoop版本1.4.4-1.0.0，解压。

2)      将mysql-connector的jar包（5.1.29版本）复制至sqoop解压后的lib目录下。

3)      把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的lib目录

2.  配置

在/etc/profile里配置sqoop环境变量：

export SQOOP_HOME=/home/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0
export HADOOP_COMMON_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export HADOOP_MAPRED_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export PATH=${SQOOP_HOME}/bin:$PATH

3.  测试连接

进入${SQOOP_HOME}/bin目录, 通过shell脚本测试连接

$ ./sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123


如上图所示则连接mysql数据库成功！

4.  向HDFS中导入数据

通过以下shell脚本从mysql数据库向hdfs导入数据

$ ./sqoop import --connect jdbc:mysql://IP_ADDRESS:3306/DATA_BASE --table DATA_BASE --username root --password 123 -m 1


如上图所示，则数据通过MapReduce导入成功！

5.  查看结果

通过以下shell脚本，我们可以在master节点上查看，向hdfs上导入的数据


 

相关内容