分布式文件系统架构设计.pdfVIP

吾日三省乎吾身。为人谋而不忠乎?与朋友交而不信乎?传不习乎?——《论语》

分布式文件系统架构设计

1

吾日三省乎吾身。为人谋而不忠乎?与朋友交而不信乎?传不习乎?——《论语》

目录

1.前言3

2.HDFS13

3.HDFS25

4.HDFS311

5.结语15

2

吾日三省乎吾身。为人谋而不忠乎?与朋友交而不信乎?传不习乎?——《论语》

1.前言

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底

层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS，解

决了海量数据存储的问题；实现了一个分布式计算引擎MapReduce，解决了海量数据如何计

算的问题；实现了一个分布式资源调度框架YARN，解决了资源调度，任务管理的问题。而我

们今天重点给大家介绍的是Hadoop里享誉世界的优秀的分布式文件系统-HDFS。

Hadoop重要的比较大的版本有:Hadoop1，Hadoop2，hadoop3。同时也相对应的有HDFS1，

HDFS2，HDFS3三个大版本。后面的HDFS的版本，都是对前一个版本的架构进行了调整优

化，而在这个调整优化的过程当中都是解决上一个版本的架构缺陷，然而这些低版本的架构缺

陷也是我们在平时工作当中会经常遇到的问题，所以这篇文章一个重要的目的就是通过给大家

介绍HDFS不同版本的架构演进，通过学习高版本是如何解决低版本的架构问题从而来提升我

们的系统架构能力。

2.HDFS1

3

吾日三省乎吾身。为人谋而不忠乎?与朋友交而不信乎?传不习乎?——《论语》

最早出来投入商业使用的的Hadoop的版本，我们称为Hadoop1，里面的HDFS就是HDFS1，

当时刚出来HDFS1，大家都很兴奋，因为它解决了一个海量数据如何存储的问题。HDFS1用

的是主从式架构，主节点只有一个叫：Namenode，从节点有多个叫：DataNode。

我们往HDFS上上传一个大文件，HDFS会自动把文件划分成为大小固定的数据块（HDFS1的

时候，默认块的大小是64M，可以配置），然后这些数据块会分散到存储的不同的服务器上面，

为了保证数据安全，HDFS1里默认每个数据块都有3个副本。Namenode是HDFS的主节

点，里面维护了文件系统的目录树，存储了文件系统的元数据信息，用户上传文件，下载文件

等操作都必须跟NameNode进行交互，因为它存储了元数据信息，Namenode为了能快速

响应用户的操作，启动的时候就把元数据信息加载到了内存里面。DataNode是HDFS的从节

点，干的活就很简单，就