二零二三年 优质公开课sqoop简介.pptx

sqoop简介了解sqoop的基本知识与概念一、Sqoop介绍二、Sqoop 支持的数据库三、Sqoop特征四、为什么选择 Sqoop1.介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2.Sqoop 支持的数据库Databaseversion--direct support?connect string matchesHSQLDB1.8.0+Nojdbc:hsqldb:*//MySQL5.0+Yesjdbc:mysql://Oracle10.2.0+Nojdbc:oracle:*//PostgreSQL8.3+Yes (import only)jdbc:postgresql:/sqoop支持的数据库3.特征对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。4.为什么选择 Sqoop它可以高效、可控地利用资源，可以通过调整任务数来控制任务的并发度。另外它还可以配置数据库的访问时间等等。它可以自动的完成数据类型映射与转换。我们往往导入的数据是有类型的，它可以自动根据数据库中的类型转换到 Hadoop 中，当然用户也可以自定义它们之间的映射关系。它支持多种数据库，比如，Mysql、Oracle和PostgreSQL等等数据库。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。