HDFS(分布式文件系统)宕机处理的方法.docx

HDFS（分布式文件系统）宕机处理的方法

数据存储在文件系统中，如果某个节点宕机，那么很容易造成数据流失。HDFS针对节点宕机也提供了有效的保护措施，具体如下：

1、副本备份

在数据存储的过程中，对每个数据块都进行了副本备份，副本个数可以自行设置。

2、副本存放

仅仅对数据进行副本备份还不够，如果所有的备份都在一个节点上，那么该节点宕机后，数据一样会丢失。因此HDFS需要有一个更有效的副本存放策略。目前使用的策略是，以存放3个副本（dfs.replication=3）为例，在同一台机器的两个节点上各备份一个副本，再在另一台机器的某个节点上存放一个副本，前者可防止当该机器的某个节点宕机时数据丢失，后者可防止当某台机器宕机时数据丢失。

3、宕机处理

宕机即人们口头常说的“死机”，当HDFS遇上宕机时将做出相应的处理。在3种不同的宕机情况下，HDFS的宕机处理方式如下。

（1）当一切运行正常时，DataNode将周期性地发送心跳信息给NameNode（默认是每3s发送一次）。如果NameNode在预定的时间内没有收到心跳信息（默认是10min），那么NameNode将认为DataNode出现了问题，并将该DataNode从集群中移除。对于HDFS而言，丢失一个DataNode意味着丢失了存储在该DataNode上的数据块的副本。同时，HDFS会检测出存储在该DataNode上的数据块的副本数量低于要求，并主动让副本数量不符合要求的数据块继续创建需要的副本，以达到满副本数量状态为止。DataNode可能因为多种原因脱离集群，如硬件故障、主板故障、电源老化和网络故障等。

（2）当HDFS读取某个数据块信息时，如果正好存储该数据块的某个节点宕机，那么客户端将会在存储该数据块的其他节点上读取数据块信息，除非其他节点损坏或该数据块在存储时损坏，否则依然可以得到该数据块的信息。同时，HDFS也会检测到该数据块副本数量不符合要求而重新补全副本数量。

（3）当HDFS存储数据时，如果需要存放数据的节点宕机，那么HDFS将会重新分配一个节点给该数据块，并备份宕机节点中的数据。