sqoop导出数据的原理.pptx

sqoop的导出 1、了解sqoop导出数据的原理 目录sqoop的导出原理01 sqoop的导出原理1 sqoop的导出原理 sqoop的导出原理连接数据库的常用参数：参数描述--connect jdbc-urijdbc 连接地址--connection-manager class-name连接管理类--driver class-name数据库驱动类--hadoop-mapred-home dir$HADOOP_MAPRED_HOME--helphelp 信息--password-file为包含身份验证密码的文件设置路径-P从命令行输入密码--password password密码--username username用户名--verbose打印流程信息--connection-param-file filename可选参数--relaxed-isolation将连接事务隔离设置为读取未提交的映射程序 sqoop的导出原理常用参数说明：参数描述--columns col,col,col…Columns to export to table--direct快速模式，利用了数据库的导入工具，如mysql的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。--export-dir dir存放数据的HDFS的源目录-m,--num-mappers n启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的最大Map数--table table-name要导入到的关系数据库表--call stored-proc-name要调用的存储过程--update-key col-name后面接条件列名，通过该参数，可以将关系数据库中已经存在的数据进行更新操作，类似于关系数据库中的update操作--update-mode mode更新模式，有两个值updateonly和默认的allowinsert，该参数只能是在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id=1的记录，如果在表里已经有一条记录id=2，那么更新会失败。--batch使用批处理模式执行底层语句。 sqoop的导出原理sqoop的插入和更新：默认情况下，sqoop-export向表追加新行;将每个输入记录转换为INSERT语句，该语句向目标数据库表添加一行。如果表有约束(例如，主键列的值必须是唯一的)，并且已经包含数据，则必须小心避免插入违反这些约束的记录。如果INSERT语句失败，导出过程将失败。这种模式主要是针对导出记录到一个新表或空表。如果指定--update-key参数，Sqoop将修改数据库中的现有数据集。每个输入记录都被视为更新语句，修改一个现有的行。 sqoop的导出原理输入解析参数：参数描述--input-enclosed-by char设置一个必用的字段关闭符--input-escaped-by char设置输入转义符--input-fields-terminated-by char设置输入字段分隔符--input-lines-terminated-by char设置输入的 行结束符--input-optionally-enclosed-by char设置一个可选的闭合符 sqoop的导出原理输出解析参数：参数说明设置一个必用的字段闭合符--escaped-by char设置转义符--fields-terminated-by char设置字段分隔符--lines-terminated-by char设置行结束符--mysql-delimiters使用mysql默认的一组分割符设置： 字段：, 分割符：/ 可选闭合符：--optionally-enclosed-by char设置一个字段闭合符（该闭合符只有字段内出现分割符字符时才会用于字段。） 1、sqoop导出数据的原理