hadoop生态系统概述以及版本演化.pdfVIP

Hadoop生态系统概 述以及版本演化 主要内容 1 Hadoop生态系统特点 2 Hadoop介绍 3 Hadoop生态系统 4 Hadoop生态系统版本演化 主要内容 1 Hadoop生态系统特点 2 Hadoop介绍 3 Hadoop生态系统 4 Hadoop生态系统版本演化 Hadoop生态系统特点 ü  源代码开源（免费） ü  社区活跃、参与者众多 ü  涉及分布式存储和计算的方方面面 ü  已得到企业界验证 Hadoop 1.0与2.0 主要内容 1 Hadoop生态系统特点 2 Hadoop介绍 3 Hadoop生态系统 4 Hadoop生态系统版本演化 Hadoop介绍: 概述 Ø 分布式存储系统HDFS （Hadoop Distributed File System ） ü 分布式存储系统 ü 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 Ø 资源管理系统YARN （Yet Another Resource Negotiator ） ü 负责集群资源的统一管理和调度 Ø 分布式计算框架MapReduce ü 分布式计算框架 ü 具有易于编程、高容错性和高扩展性等优点 Hadoop介绍: 概述 MapReduce （分布式计算层） YARN （集群资源管理层） HDFS （分布式存储层） Hadoop 构成：HDFS （分布式文件系统） Ø  基本原理 ü  将文件切分成等大的数据块，存储到多台机器上 ü  将数据切分、容错、负载均衡等功能透明化 ü  可将HDFS看成一个容量巨大、具有高容错性的磁盘 Ø  应用场景 ü  海量数据的可靠性存储 ü  数据归档 Hadoop 构成：HDFS （分布式文件系统） Hadoop 构成：YARN （资源管理系统） Ø  YARN是什么 ü  Hadoop 2.0新增系统 ü  负责集群的资源管理和调度 ü  使得多种计算框架可以运行在一个集群中 Ø  YARN 的特点 ü  良好的扩展性、高可用性 ü  对多种类型的应用程序进行统一管理和调度 ü  自带了多种多用户调度器，适合共享集群环境 Hadoop 构成：YARN （资源管理系统） Hadoop 构成：YARN （资源管理系统） Hadoop 构成：MapReduce （分布式计算框架） Ø  源自于Google的MapReduce论文 ü  发表于2004年12月 ü  Hadoop MapReduce是Google MapReduce克隆版 Ø  MapReduce特点 ü  良好的扩展性 ü  高容错性 ü  适合PB级以上海量数据的离线处理 Hadoop 构成：MapReduce （分布式计算框架） Hadoop 构成：MapReduce （分布式计算框架） Hadoop 构成：MapR