高负载系统相关技术初探.ppt

Hadoop开始时是Nutch的一个子项目，而Nutch又是Apache Lucene的一个子项目。 这3个项目都是由Doug Cutting所创立的，每个项目在逻辑上都是前一个项目的演进。 Lucene是一个功能全面的文本索引和查询库。 作为Lucene的扩展，Nutch的目标可谓雄心勃勃，它试图以Lucene为核心建立一个完整的Web有哪些信誉好的足球投注网站引擎。Nutch为HTML提供了解析器，还具有网页抓取工具、链接图形数据库和其他网络有哪些信誉好的足球投注网站引擎的额外组件。Doug Cutting所设想的Nutch是开放与民主的，可以替代Google等商业产品的垄断技术。除了增加了像抓取器和解析器这样的组件，网络有哪些信誉好的足球投注网站引擎与基本的文档有哪些信誉好的足球投注网站引擎的区别就在于规模。 Lucene的目标是索引数百万的文档，但Nutch应该能够处理数十亿的网页，而不会带来过度的操作开销。这样Nutch就得运行在由商用硬件组成的分布式集群上。Nutch团队面临的挑战是解决软件可扩展性问题，即要在Nutch中建立一个层，来负责分布式处理、冗余、自动故障恢复和负载均衡。这些挑战绝非易事。 在2004年左右，Google发表了两篇论文来论述Google文件系统（GFS）和MapReduce框架。Google声称使用了这两项技术来扩展自己的有哪些信誉好的足球投注网站系统。Doug Cutting立即看到了这些技术可以适用于Nutch，接着他的团队实现了一个新的框架，将Nutch移植上去。这种新的实现马上提升了Nutch的可扩展性。它开始能够处理几亿个网页，并能够运行在几十个节点的集群上。Doug认识到设计一个专门的项目可以充实两种网络扩展所需的技术，于是就有了Hadoop。 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 NameNode DataNode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。 Namenode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 文件操作，NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则NameNode会成为系统的瓶颈 一个数据块在DataNode以文件存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode 的心跳，则认为该节点不可用。 Job Tracker 　　Job Tracker(Google 称为Master)是负责管理调度所有作业，它是整个系统分配任务的核心。它也是唯一的，这与HDFS 类似。因此，简化了同步流程问题。 Task Tracker 　　Task Tracker 具体负责执行用户定义操作，每个作业被分割为任务集，包括Map任务和Reduce 任务。任务是具体执行的基本单元， Task Tracker 执行过程中需要向Job Tracker 发送心跳信息，汇报每个任务的执行状态，帮助Job Tracker 收集作业执行的整体情况，为下次任务分配提供依据。 　　在Hadoop 中，客户端(任务的提交者)是一组API，用户需要自定义自己需要的内容，由客户端将作业及其配置提交到Job Tracker，并监控执行状况。 　　与HDFS 的通信机制相同，Hadoop Map/Reduce 也使用协议接口来实现服务器间的通信。实现者