京东数据仓库海量数据交换工具--张侃.pdf

京东数据仓库海量数据交换工具 -Plumber开发实践 张侃 京东大数据平台部 /opendayjd 关于我 张侃 大数据平台-实时数据产品研发部 微信： phoenix747 新浪微博： @pho_coder 目录 CONTENTS 一、离线海量数据交换场景介绍 二、plumber技术特点和实现方案 三、 clojure语言在开发中的应用 目录 CONTENTS 一、离线海量数据交换场景介绍 二、plumber技术特点和实现方案 三、 clojure语言在开发中的应用 技术突破 • 海量 • 每日进出上TB数据 • 每天数千数据传输任务 • 异构 • 结构化：mysql, sqlserver, oracle, hive • 非结构化: mongodb, hbase, log • 场景复杂 • mysql分库分表 • 全国各地仓库数据抽取 流程优化 三次传输 三次落地 一次清洗 DB 原始数据 HIVE客户端 HIVE 落地平台 一次传输 无落地 实时清洗 DB plumber HIVE 目录 CONTENTS 一、离线海量数据交换场景介绍 二、plumber技术特点和实现方案 三、 clojure语言在开发中的应用 技术特点及实现方案 • 读写分离插件化 • 多线程并行执行 • 配置化和实时统计信息 • 定制化开发全国仓库抽取 读写插件化 reader disruptor writer Reader : mysql, sqlserver, oracle, mongodb, hive, log Writer : hive, mysql, oracle, hbase 插件实现 reader lines disruptor lines filter writer Reader disruptor – RDBMS – JDBC – NOSQL – API filter – LOG – http断点续传 Writer buffer buffer buffer – RDBMS – JDBC – Hive – write hdfs add partitions HDFS