Hadoop分布式文件系统使用指南.PDF

Hadoop 分布式文件系统使用指南 目的 本文档的目标是为Hadoop 分布式文件系统（HDFS ）的用户提供一个学习的起点， 这里的HDFS 既可以作为Hadoop 集群的一部分，也可以作为一个独立的分布式文 件系统。虽然HDFS 在很多环境下被设计成是可正确工作的，但是了解HDFS 的工 作原理对在特定集群上改进HDFS 的运行性能和错误诊断都有极大的帮助。 概述 HDFS 是Hadoop 应用用到的一个最主要的分布式存储系统。一个HDFS 集群主要 由一个NameNode 和很多个Datanode 组成：Namenode 管理文件系统的元数据， 而Datanode 存储了实际的数据。HDFS 的体系结构在这里有详细的描述。本文档 主要关注用户以及管理员怎样和HDFS 进行交互。HDFS 架构设计中的图解描述了 Namenode 、Datanode 和客户端之间的基本的交互操作。基本上，客户端联系 Namenode 以获取文件的元数据或修饰属性，而真正的文件I/O 操作是直接和 Datanode 进行交互的。 下面列出了一些多数用户都比较感兴趣的重要特性。  Hadoop （包括HDFS ）非常适合在商用硬件（commodity hardware ）上做 分布式存储和计算，因为它不仅具有容错性和可扩展性，而且非常易于扩展。 Map-Reduce 框架以其在大型分布式系统应用上的简单性和可用性而著称， 这个框架已经被集成进Hadoop 中。  HDFS 的可配置性极高，同时，它的默认配置能够满足很多的安装环境。多 数情况下，这些参数只在非常大规模的集群环境下才需要调整。  用Java 语言开发，支持所有的主流平台。  支持类Shell 命令，可直接和HDFS 进行交互。  NameNode 和DataNode 有内置的Web 服务器，方便用户检查集群的当前 状态。  新特性和改进会定期加入HDFS 的实现中。下面列出的是HDFS 中常用特性 的一部分： o 文件权限和授权。 o 机架感知（Rack awareness ）：在调度任务和分配存储空间时考虑节 点的物理位置。 o 安全模式：一种维护需要的管理模式。 o fsck ：一个诊断文件系统健康状况的工具，能够发现丢失的文件或数 据块。 o Rebalancer：当datanode 之间数据不均衡时，平衡集群上的数据负 载。 o 升级和回滚：在软件更新后有异常发生的情形下，能够回滚到HDFS 升级之前的状态。 o Secondary Namenode ：对文件系统名字空间执行周期性的检查点， 将Namenode 上HDFS 改动日志文件的大小控制在某个特定的限度 下。 先决条件 下面的文档描述了如何安装和搭建Hadoop 集群：  Hadoop 快速入门 针对初次使用者。  Hadoop 集群搭建 针对大规模分布式集群的搭建。 文档余下部分假设用户已经安装并运行了至少包含一个Datanode 节点的HDFS 。 就本文目的来说，Namenode 和Datanode 可以运行在同一个物理主机上。 Web 接口 NameNode 和DataNode 各自启动了一个内置的Web 服务器，显示了集群当前的 基本状态和信息。在默认配置下NameNode 的首页地址是 http://namenode-name:50070/。这个页面列出了集群里的所有DataNode 和集群的基本状态。这个Web 接口也可以用来浏览整个文件系统（使用NameNode 首页上的Browse the file system链接）。 Shell 命令 Hadoop 包括一系列的类shell 的命令，可直接和HDFS 以及其他Hadoop 支持的 文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell 支持 的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个 命令的详细信息。这些命令支持大多数普通文件系统的操作，比如