hadoop技术交流.ppt

用户研究工作思路及建议 市场部  Hadoop技术交流 2011-7-11 目录 Hadoop的历史 Hadoop的云计算体系架构 HDFS简介 Mapreduce简介 Hadoop集群安装 再谈HDFS的设计特点 为什么要选择Hadoop？ 目录 Hadoop的历史 Hadoop的云计算体系架构 HDFS简介 Mapreduce简介 Hadoop集群安装 再谈HDFS的设计特点 为什么要选择Hadoop？ * 1. Hadoop的历史 一、从Luncene到Nutch到hadoop 1.? ?hadoop的创始人叫Doug Cutting 2.???hadoop名字的意义 3.???从NDFS到HDFS 二、从google的云计算系统到hadoop的云计算系统 Google GFS ------------- Hadoop HDFS Google MapReduce ------------- Hadoop MapReduce Google Bigtable ------------- Hadoop Hbase Google Chubby ------------- Hadoop ZooKeeper Google Sawzall ------------- Hadoop Pig 目录 Hadoop的历史 Hadoop的云计算体系架构 HDFS简介 Mapreduce简介 Hadoop集群安装 再谈HDFS的设计特点 为什么要选择Hadoop？ * 2. Hadoop云计算架构 Hadoop的核心子项目:提供了一个分布式文件系统(HDFS)和支持MapReduce的分布式计算 HBase :建立在Hadoop内核之上提供可靠的可扩展的分布式数据库 Zookeeper:一个高效的可扩展的协调系统。分布式应用可以使用ZooKeeper来存储和协调关键共享状态。 Hive：是搭建在Hadoop之上的数据仓库基础并提供了一些工具使得对Hadoop文件中海量数据的归纳、特殊查找和分析更为容易 PIG:建立于Hadoop内核之上是一种支持并行计算运行框架的高级数据流语言 Hadoop云计算 MapReduce HBase HDFS Zookeeper HIVE PIG 目录 Hadoop的历史 Hadoop的云计算体系架构 HDFS简介 Mapreduce简介 Hadoop集群安装 再谈HDFS的设计特点 为什么要选择Hadoop？ * 3. HDFS介绍 HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示： 3. HDFS介绍（续） NameNode 可以看作是分布式文件系统中的管理者存储文件系统的meta-data，主要负责管理文件系统的命名空间、集群配置信息、存储块的复制 DataNode 是文件存储的基本单元。它存储文件块在本地文件系统中保存了文件块的meta-data同时周期性的发送所有存在的文件块的报告给NameNode Client 就是需要获取分布式文件系统文件的应用程序 3. HDFS介绍（续）-操作举例 文件写入 Client向NameNode发起文件写入的请求 NameNode根据文件大小和文件块配置情况返回给Client它所管理部分DataNode的信息 Client将文件划分为多个文件块根据DataNode的地址信息按顺序写入到每一个DataNode块中 文件读取 Client向NameNode发起文件读取的请求 NameNode返回文件存储的DataNode的信息 Client读取文件信息 文件块复制 NameNode发现部分文件的文件块不符合最小复制数或者部分DataNode失效 通知DataNode相互复制文件块 DataNode开始直接相互复制 目录 Hadoop的历史 Hadoop的云计算体系架构 HDFS简介 Mapreduce简介 Hadoop集群安装 再谈HDFS的设计特点 为什么要选择Hadoop？ * 4. Mapreduce介绍 MapReduce 是大规模数据（PB 级）计算的利器，Map 和Reduce 是它的主要思想。 Map 负责将数据打散，Reduce负责对数据进行聚集，用户只需要实现map 和reduce 两个接口，即可完成TB 级数据的计算，常见的应用包括：日志分析和数据挖掘等数据分析应用。 * 4. Mapreduce介绍(续) * 4. Mapreduce介