有哪些信誉好的足球投注网站- 1、本文档共32页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
第2章Hadoop概述
?Hadoop生态目录?Hadoop1.0?本章小结?本章习题?Hadoop2.0
Hadoop生态在大数据处理软件系统上，随着ApacheHadoop系统开源化的发展，在最初包含HDFS、MapReduce、HBase等基本子系统的基础上，至今Hadoop平台已经演进为一个包含很多相关子系统的完整的大数据处理生态系统。
Hadoop生态系统与支撑平台分布式协调服服务框架ZooKeeper其他第三方工具关系数据交换工具Sqoop日志数据收集工具Flume科学计算基础工具库Hama数据分析挖掘工具库Mahout键值对数据库系统Cassandra数据流处理工具PigMapReduce并行计算框架分布式海量数据存储与管理分布式文件系统HDFS公共服务模块Common数据序列化系统Avro分布式存储和并行计算集群数据仓库处理工具Hive日志数据处理系统Chukwa分布式数据库管理系统HBaseHadoop平台的基本组成与生态系统
Hadoop生态MapReduce并行计算框架MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两阶段的并行处理模型和过程，提供一组完整的供程序员开发MapReduce应用程序的编程接口。?在程序执行时，MapReduce并行计算框架将负责调度和分配计算资源，划分和输入输出数据，调度程序的执行，监控程序的执行状态，并负责程序执行各计算节点的同步以及中间结果的收集整理。
Hadoop生态分布式文件系统HDFSHDFS是一个类似于GoogleGFS的开源的分布式文件系统。它提供了一个可扩展、高可靠、高可用的大规模数据分布式存储管理系统，基于物理上分布在各个数据存储节点的本地Linux系统的文件系统，HDFS采用多副本（默认为3个副本）数据冗余存储机制，并提供了有效的数据出错检测和数据恢复机制，大大提高了数据存储的可靠性。分布式数据库管理系统HBbaseHBase是一个建立在HDFS之上的分布式数据库，它是一个分布式可扩展的NoSQL数据库，提供了对结构化、半结构化甚至非结构化大数据的实时读写和随机访问能力。HBase提供了一个基于行、列和时间戳的三维数据管理模型。
Hadoop生态公共服务模块CommonCommon是一套为整个Hadoop系统提供底层支撑服务和常用工具的类库和API编程接口，这些底层服务包括Hadoop抽象文件系统FileSystem、远程过程调用RPC、系统配置工具Configuration以及序列化机制。在0.20及以前的版本中，Common包含HDFS、MapReduce和其他公共的项目内容；从0.21版本开始，HDFS和MapReduce被分离为独立的子项目，其余部分内容构成HadoopCommon。数据序列化系统AvroAvro是一个数据序列化系统，用于将数据结构或数据对象转换成便于数据存储和网络传输的格式。Avro提供了丰富的数据结构类型，快速可压缩的二进制数据格式，存储持久性数据的文件集,远程调用RPC和简单动态语言集成等功能。
Hadoop生态分布式协调服务框架ZookeeperZookeeper是一个分布式协调服务框架，主要用于解决分布式环境中的一致性问题。Zookeeper主要用于提供分布式应用中经常需要的系统可靠性维护、数据状态同步、统一命名服务、分布式应用配置项管理等功能。Zookeeper可用来在分布式环境下维护系统运行管理中的一些数据量不大的重要状态数据，并提供监测数据状态变化的机制，以此配合其他Hadoop子系统（如HBase、Hama等）或者用户开发的应用系统，解决分布式环境下系统可靠性管理和数据状态维护等问题。
Hadoop生态分布式数据仓库处理工具HiveHive是一个建立在Hadoop之上的数据仓库，用于管理存储于HDFS或HBase中的结构化/半结构化数据。Hive允许直接用类似SQL的HiveQL查询语言作为编程接口编写数据查询分析程序，并提供数据仓库所需要的数据抽取转换、存储管理和查询分析功能，而HiveQL语句在底层实现时被转换为相应的MapReduce程序加以执行。
Hadoop生态数据流处理工具PigPig是一个用来处理大规模数据集的平台，它简化了使用Hadoop进行数据分析处理的难度，提供一个面向领城的高层抽象语言PigLatin，通过该语言，程序员可以将复杂的数据分析任务实现为Pig操作上的数据流脚本，这些脚本最终执行时将被系统自动转换为MapReduce任务链，在Hadoop上加以执行。
Hadoop生态键值对数据库系统CassandraCassandra是一套分布式的K-V型的数据库系统，Cassandra以Amazon专有的完全分布式Dynamo为基础
文档评论（0）