使用高性能连接器在Hadoop与Oracle数据库之间.PDFVIP

Oracle 白皮书 2012 年6 月 使用高性能连接器在Hadoop 与Oracle 数 据库之间实现数据加载和访问 使用高性能连接器在 Hadoop 与Oracle 数据库之间实现数据加载和访问 执行概要 1 引言 1 Oracle Loader for Hadoop 2 Oracle Direct Connector for Hadoop Distributed File System (HDFS) 3 从Hadoop 到Oracle 数据库的数据加载与访问4 技术特性4 Oracle Loader for Hadoop 4 加载选项 5 Oracle Direct Connector for HDFS 6 性能 8 配置概述 8 性能测试目标 8 性能测试 8 偏差数据的加载 16 总结 16 总结 17 使用高性能连接器在 Hadoop 与Oracle 数据库之间实现数据加载和访问 执行概要 Oracle Loader for Hadoop 和 Oracle Direct Connector for Hadoop Distributed File System (HDFS) 可实现 Hadoop 平台与 Oracle 数据库之间的高性能数据加载和访问。这些针对 Hadoop 和 Oracle 数据库进行了优化的高效连接器可轻松地获取和组织 Hadoop 上的非结构 化数据，并将这些数据与 Oracle 数据库中的数据整合在一起，从而确保应用程序能够分析企 业的所有数据。 在我们的性能测试中，从 Oracle 大数据机到 Oracle Exadata 的数据加载速度达到 12 TB/ 小时。 当采用速度最快的加载选项时，Oracle 连接器的加载速度比接受测试的第三方产品快 5 到 20 倍。 本白皮书将介绍 Oracle Loader for Hadoop 和 Oracle Direct Connector for HDFS 的一些用 例，以及如何通过这些技术将 Oracle 大数据机到 Oracle Exadata 的数据加载速度提升至 12 TB/小时。 引言 对于企业来说，低结构化的数据 （如 Web 日志、社交媒体数据、电子邮件、传感器数据和位 置数据）是一种潜在的宝藏，它们可以为业务应用程序提供丰富的实用信息。Hadoop 可提供 一个大规模并行架构，专用于从海量非结构化和半结构化内容中提取需要的信息。这些数据常 常需要和关系数据库（大多数商业应用所采用的平台）中的现有数据一起来加以分析。关系数 据库中包含一些关键数据，可帮助用户从 Hadoop 集群中处理和存储的低结构化数据中获取更 深入的洞察。 Hadoop 上的数据必须经过一系列技术和工具 （即“连接器”）的处理后才可由数据库进行分 析。Oracle Loader for Hadoop 和 Oracle Direct Connector for HDFS 是两个高性能连接器， 专用于加载和访问Hadoop 上的海量数据。 1 使用高性能连接器在 Hadoop 与Oracle 数据库之间实现数据加载和访问 这两个连接器可满足各种客户用例的众多需求： • 定期批量加载，以纳入数据仓库中。示例： o 某银行计划每天在数据库不繁忙的时段上传 1 亿条记录。 • 流式传输Hadoop 中的数据，以便在数据库中进行即时分析。示例： o 全天候监视和分析日志传送：这是一项定期和持续的加载任务。 o 监视传感器数据。当检测到错误数据时，将其加载到数据库中。这是一项不定 期的加载任务。 • 通过数据库应用程序访问和分析HDFS 中的数据。 • 最大限度地减少暂存，同时将数据转换成适合数据库分析的格式，从而简化