开源云计算系统hadoop.pdf

Hadoop 电子工业出版社刘鹏主编《云计算》教材配套课件8 主要内容 • Hadoop项目简介 • HDFS体系结构 • HDFS关键运行机制 • Hadoop VS.Google（分布式文件系统） • Hadoop API • Hadoop环境搭建 Hadoop项目简介 • Apache的解决方案 GFS--HDFS MapReduce--Hadoop BigTable--HBase Google云计算 Google云计算 MapReduce BigTable MapReduce BigTable Chubb Chubb y GFS y GFS Hadoop项目简介 • HDFS为了做到可靠性（reliability）创建了多份数据块（ data blocks）的复制（replicas），并将它们放置在服务器 群的计算节点中（compute nodes），MapReduce就可以在它 们所在的节点上处理这些数据了。 HDFS体系结构 • NameNodeMaster • DataNodeChunksever HDFS关键运行机制 --保障可靠性的措施 • 一个名字节点和多个数据节点 • 数据复制（冗余机制） --存放的位置（机架感知策略） • 故障检测 --数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较） --名字节点（日志文件，镜像文件） • 空间回收机制 HDFS关键运行机制 --写文件流程 • 客户端缓存 • 流水线复制 • 并发写控制 • 流程： 1.客户端把数据缓存到本地临时文件夹 2.临时文件夹数据超过64M，客户端联系NameNode， NameNode分配 DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距 离和最小的序列 3.与序列的第一个数据服务器建立Socket连接，发送请求头，然后等待 回应，依次下传，客户端得到回包，流水线建立成功， 4. 正式发送数据，以4K为大小传送 HDFS关键运行机制 --读文件流程 • 客户端联系NameNode,得到所有数据块信息，以及 数据块对应的所有数据服务器的位置信息 • 尝试从某个数据块对应的一组数据服务器中选出 一个，进行连接（选取算法未加入相对位置的考 虑） • 数据被一个包一个包发送回客户端，等到整个数 据块的数据都被读取完了，就会断开此链接，尝 试连接下一个数据块对应的数据服务器，整个流 程，依次如此反复，直到所有想读的都读取完了 为止 Hadoop VS. Google • 技术架构的比较 – 数据结构化管理组件：Hbase→BigTable – 并行计算模型：MapReduce→MapReduce – 分布式文件系统：HDFS→GFS – Hadoop缺少分布式锁服务Chubby Hadoop云计算应用