sqoop使用文档.docx

简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop已在CDH集群中配置完成。集群中使用的是sqoop2.关于sqoop1和sqoop2的区别如下：Sqoop2和sqoop1的区别Sqoop1架构图：Sqoop2架构图：使用#指定列$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --columns employee_id,first_name,last_name,job_title#使用8个线程$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES -m 8#快速模式$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --direct#使用sequencefile作为存储方式$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --class-name com.foocorp.Employee --as-sequencefile#分隔符$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --fields-terminated-by \t --lines-terminated-by \n --optionally-enclosed-by \#导入到hive$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --hive-import#条件过滤$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --where start_date 2010-01-01#用dept_id作为分个字段$ sqoop import --connect jdbc:mysql:///corp --table EMPLOYEES --split-by dept_id#追加导入$ sqoop import --connect jdbc:mysql:///somedb --table sometable --where id 100000 --target-dir /incremental_dataset –append--------------------------华丽的分割线------------------------将mysql中的数据导入hdfs文件系统中sqoop import --connect jdbc:mysql://:3306/mysql --username root --password root --table help_topic --fields-terminated-by \t -m 2 --target-dir /user/mysql/topic2/$today --default-character-set=utf-8 将oracle中的数据导入hdfs文件系统中sqoop import --connect jdbc:oracle:thin:@13:1521:orcl --username oracle --password oracle --table recmail --columns nid,ssubject,srecusers,ssendusers,scc,scontent --fields-terminated-by \t -m 1 --target-dir /user/oracle/email/$today使用—query关联查询sqoop import --connect jdbc:mysql://:3306/test --username root --password root --query SELECT u.id,,u.age,s.score FROM user u join score s on u.id=s.uid WHERE $CONDITIONS --fields-terminated-by \t -m 1 --target-dir /user/mysql/topic3/$today生成对应的表的java代码sqoop codegen --connect jdbc:mysql:/