《大数据平台构建》实验一：Sqoop组件安装与配置.docxVIP

实验一：Sqoop组件安装与配置

实验任务一：下载和解压Sqoop

Sqoop相关发行版本可以通过官网/apache/sqoop/来获取，如下图9-4所示。

?

图9-4Sqoop官网下载链接

安装Sqoop组件需要与Hadoop环境适配。使用root用户在Master节点上进行部署，将/opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz压缩包解压到/usr/local/src目录下。

[root@master~]#tar-zxvf/opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src

将解压后生成的sqoop-1.4.7.bin__hadoop-2.6.0文件夹更名为sqoop。

[root@master~]#cd/usr/local/src/

?

[root@mastersrc]#mv./sqoop-1.4.7.bin__hadoop-2.6.0sqoop

?

实验任务二：配置Sqoop环境

步骤一：创建Sqoop的配置文件sqoop-env.sh。

复制sqoop-env-template.sh模板，并将模板重命名为sqoop-env.sh。

[root@master~]#cd/usr/local/src/sqoop/conf/

?

[root@masterconf]#cpsqoop-env-template.shsqoop-env.sh

步骤二：修改sqoop-env.sh文件，添加Hdoop、Hbase、Hive等组件的安装路径。

注意，下面各组件的安装路径需要与实际环境中的安装路径保持一致。

[root@masterconf]#visqoop-env.sh

?

exportHADOOP_COMMON_HOME=/usr/local/src/hadoop

exportHADOOP_MAPRED_HOME=/usr/local/src/hadoop

exportHBASE_HOME=/usr/local/src/hbase

exportHIVE_HOME=/usr/local/src/hive

步骤三：配置Linux系统环境变量，添加Sqoop组件的路径。

[root@masterconf]#vi/etc/profile

?

#在文件末尾添加

#setsqoopenvironment

exportSQOOP_HOME=/usr/local/src/sqoop

exportPATH=$PATH:$SQOOP_HOME/bin

exportCLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

?

步骤四：连接数据库

为了使Sqoop能够连接MySQL数据库，需要将/opt/software/mysql-connector-java-5.1.46.jar文件放入sqoop的lib目录中。该jar文件的版本需要与MySQL数据库的版本相对应，否则Sqoop导入数据时会报错。（mysql-connector-java-5.1.46.jar对应的是MySQL5.7版本）若该目录没有jar包,则使用第6章导入home目录的jar包

[root@master~]#cp/opt/software/mysql-connector-java-5.1.46.jar/usr/local/src/sqoop/lib/

实验任务三：启动Sqoop

步骤一：执行Sqoop前需要先启动Hadoop集群。

在master节点切换到hadoop用户执行start-all.sh命令启动Hadoop集群。

[root@master~]#su-hadoop

?

[hadoop@master~]$source/etc/profile

?

[hadoop@master~]$start-all.sh

步骤二：检查Hadoop集群的运行状态。

[hadoop@master~]$jps

1457NameNode

1795ResourceManager

2060Jps

1646SecondaryNameNode

步骤三：测试Sqoop是否能够正常连接MySQL数据库。

#Sqoop连接MySQL数据库P大写密码Password123$

[hadoop@master~]$?sqooplist-databases--connectjdbc:mysql://: