Hadoop大数据开发实例教程：Hadoop中的数据迁移工具——Sqoop技术PPT教学课件.pptx

Hadoop中的数据迁移工具——Sqoop技术099.1Sqoop简介9.2Sqoop的安装与配置9.3Sqoop数据导入导出实例9.4实训9部署并应用Sqoop

熟练掌握Hadoop组件基础环境搭建；熟练掌握Sqoop的安装与配置；熟练运用Sqoop基本操作命令；熟练使用Sqoop将MySQL（查询）数据导入HDFS/Hive/HBase中；1243本模块首先对Sqoop进行了介绍，并在完全分布式环境下进行了安装与配置，后续主要是基于Sqoop工具进行MySQL与HDFS/Hive/HBase数据库的导入导出操作，同时验证了向HDFS/Hive/HBase导入查询结果。通过本模块的学习，读者将达到以下职业能力目标和要求:目标和要求Sqoop技术能够将HDFS/Hive中的数据导出到MySQL中。5

9.1Sqoop简介Sqoop是Apache旗下一款“Hadoop和关系型数据库之间传送数据”的工具，用户可以将数据从结构化存储器抽取到Hadoop中，用于进一步的处理，如图9-1所示。图9-1Sqoop工具

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署利用之前搭建好的完全分布式环境（推荐）/伪分布式环境进行此处的实验，为了更清晰明了，须先规划节点分配及功能，如表9-1所示。表9-1节点分配及功能对应表

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“2.3.3完全分布式安装与配置”中的步骤完成部署，启动成功如图9-2所示。1．Hadoop完全分布式环境部署图9-2Hadoop完全分布式环境部署成功

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“5.5分布式资源管理器YARN”中的步骤完成部署，启动成功如图9-3所示。2．基于Hadoop完全分布式环境部署YARN图9-3基于Hadoop完全分布式环境部署YARN成功

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“6.3Hive的安装与配置（本地独立模式）”的“1个Server+2个Clients”完成部署，Hive不需要提前启动，它是“用则开，开则启，关则停”，如图9-4所示。3．基于Hadoop完全分布式环境部署Hive图9-4基于Hadoop完全分布式环境部署Hive成功

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“7.2.2伪分布式安装与配置”中的步骤完成“完全分布式ZooKeeper”的部署，启动成功如图9-5所示。4．基于Hadoop完全分布式环境部署ZooKeeper图9-5基于Hadoop完全分布式环境部署ZooKeeper成功

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“8.2HBase的安装与配置”中的步骤完成部署，启动成功如图9-6所示。5．基于Hadoop完全分布式环境部署HBase图9-6基于Hadoop完全分布式环境部署HBase成功

9.2Sqoop的安装与配置9.2.1完全分布式实验环境部署根据“表9-1节点分配及功能对应表”，参照“6.2MySQL的安装与配置”中的步骤完成部署，启动成功如图9-7所示。6．基于Hadoop完全分布式环境部署MySQL图9-7基于Hadoop完全分布式环境部署MySQL成功安装好MariaDB数据库，设置为开机启动，并进入MariaDB设置远程授权登录的用户名HadoopSqoop和密码123456。

9.2Sqoop的安装与配置9.2.2下载并解压Sqoop分为Sqoop1和Sqoop2两个完全不兼容的版本，同时由于各软件版本上存在兼容性问题，也考虑到实验的成功性，建议在学习期间采用本书中的软件版本进行实验。前往Sqoop官网/或相关网站（如cn/apache/sqoop与/dist/sqoop）下载sqoop-1.4.6安装包，Sqoop版本选择及下载页面如图9-8所示。图9-8Sqoop版本选择及下载页面

9.2Sqoop的安装与配置9.2.2下载并解压将下载好的文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz通过WinSCP/FileZilla等工具上传到Linux系统中并进行解包解压。

9.2Sqoop的安装与配置9.2.3配置sqoop-env.sh对于export中的路径，如果本身就未安装，那么可以不用管，只是在调用Sqoop时会有警告（W