Sqoop介绍“十市联赛”一等奖.pptx

Sqoop介绍 1.掌握Sqoop是什么2.掌握Sqoop架构介绍 1. Sqoop是什么2. Sqoop架构介绍 Sqoop是什么Sqoop是一款开源的工具，用来将Hadoop和关系型数据库中的数据相互转移，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop是一个ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。 Sqoop架构介绍（一）双向多进程并行 Sqoop架构介绍（二） Sqoop架构介绍（二）sqoop的功能就是将RDBMS中的数据导入HDFS，或者将HDFS中的数据导出到RDBMS。对于文件系统中的数据导入HDFS，可以使用Flume（实时抽取）。sqoop以Hadoop 为主体，RDBMS为客体，使用sqoop的主要功能 Sqoop架构介绍（二）sqoop import将RDBMS数据放入hadoop 中，就是导入，importsqoop export将hadoo中的数据放入到RDBMs中，就是导出，export 1.什么是Sqoop -- 大数据批量迁移的ETL工具2. Sqoop架构及使用