HDFS(分布式文件系统)的特点.docx

HDFS（分布式文件系统）的特点

随着互联网的发展，所产生的数据越来越多，传统的单机文件系统已经不能满足需求，进而产生了分布式文件系统HDFS。作为分布式文件系统，HDFS能够解决海量数据的存储问题，其具有的优点如下：

（1）高容错性

HDFS上传的数据自动保存多个副本，通过增加副本的数量来提高HDFS的容错性。如果某一个副本丢失，那么HDFS将复制其他节点上的副本。

（2）适合大规模数据的处理

HDFS能够处理上百万的GB、TB甚至PB级别的数据，数量非常大。

（3）流式数据访问

HDFS以流式数据访问模式来存储超大文件，有着“一次写入，多次读取”的特点，文件一旦写入，不能修改，只能增加，以保证数据的一致性。当然HDFS也不是完美的，同样存在局限性，其具有如下缺点：

（1）不适合低延迟数据访问

若处理一些低延迟应用请求，则不适合使用HDFS。HDFS是为了处理大型数据集分析任务而设计的，目的是达到较高的数据吞吐量，通常是需要以高延迟作为代价的。

（2）无法高效存储大量小文件

因为NameNode将文件系统的元数据存储在内存中，所以文件系统所能容纳的文件数目是由NameNode的内存大小决定的，即每存入一个文件都会在NameNode中写入文件信息。如果写入太多小文件，那么NameNode内存会被占满而无法写入更多文件信息，而与多个小文件大小相同的较大单一文件只会写入一次文件信息到内存中，因此HDFS更适合大文件存储。

（3）不支持多用户写入及任意修改文件

在HDFS的一个文件中只能有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前HDFS还不支持多用户对同一文件的写操作，以及在文件任意位置进行修改。