数据收集与入库系统Flume与Sqoop.pdf

数据收集与入库系统 Flume与Sqoop 主要内容 1 背景介绍 2 Hadoop数据收集系统 3 传统数据库与Hadoop间数据同步 主要内容 1 背景介绍 2 Hadoop数据收集系统 3 传统数据库与Hadoop间数据同步 背景介绍 Ø  Hadoop提供了一个中央化的存储系统： ü  有利于进行集中式的数据分析与数据共享 Ø  Hadoop对存储格式没有要求： ü  用户访问日志； ü  产品信息 ü  网页数据等 Ø  如何将数据存入Hadoop ： ü  数据分散在各个离散的设备上 ü  数据保存在传统的存储设备和系统中 常见两种数据来源 Ø  分散的数据源： ü  机器产生的数据； ü  用户访问日志; ü  用户购买日志; Ø  传统系统中的数据： ü  传统关系型数据库:MySQL、Oracle等; ü  磁盘阵列; ü  磁带. 常见的数据收集与入库系统 Ø  数据收集 ü  Flume ü  Kafka ü  Scribe Ø  传统数据库与Hadoop同步 ü  Sqoop 主要内容 1 背景介绍 2 Hadoop数据收集系统 3 传统数据库与Hadoop间数据同步 Hadoop数据收集系统：Flume Ø  Flume OG ü  OG ： “Original Generation ” ü  0.9.x或cdh3 以及更早版本 ü  由agent、collector、master等组件构成 Ø  Flume NG ü  NG ： “Next/New Generation ” ü  1.x或cdh4 以及之后的版本 ü  由Agent 、Client等组件构成 Ø  为什么要推出NG版本 ü  精简代码 ü  架构简化 Flume基本架构 Flume基本架构 Agent Ø  用于采集数据 Ø  数据流产生的地方 Ø  通常由source和sink两部分组成 ü  Source用于获取数据，可从文本文件，syslog，HTTP等获 取数据； ü  Sink将Source获得的数据进一步传输给后面的Collector 。 Ø  Flume 自带了很多source和sink实现 ü  syslogTcp(5140) | agentSink(localhost,35853) ü  tail(/etc/services) | agentSink(localhost,35853) Collector Ø  汇总多个Agent结果 Ø  将汇总结果导入后端存储系统，比如HDFS，HBase Ø  Flume 自带了很多collector实现 ü collectorSource(35853) | console ü CollectorSource(35853) | collectorSink(file:///tmp/flume/ collected, syslog); ü collectorSource(35853) | collectorSink(hdfs://namenode/ user/flume/ ,syslog); Agent与collector对应关系 Agent与collector对应关系 Ø  可手动指定，也可自动匹配 Ø