《Hadoop技术原理》课件——4.HDFS进阶.pptxVIP

Hadoop技术原理HDFS进阶

HDFS工作原理01

HDFS工作原理01数据上传过程

HDFS工作原理02数据读取过程

HDFS工作原理03HDFS的常见问题HDFS具有较高的容错性，可以兼容廉价的硬件，它把硬件出错看作一种常态，而不是异常，并设计了相应的机制检测数据错误和进行自动恢复，主要包括以下几种情形：名称节点出错数据节点出错数据出错

HDFS工作原理04HDFS的容错性NameNode出错：用SecondaryNameNode备份的fsimage恢复HA(HighAvailability)高可用：多个NameNodeDataNode出错：DataNode与NameNode通过“心跳”报告状态，失效后会启动数据冗余复制。数据出错：采用md5和sha1对数据块进行校验。

HDFS高级功能02

HDFS高级功能01安全模式安全模式是HDFS所处的一种特殊状态，在处于这种状态时，文件系统只接受读数据请求，不能对文件进行写，删除等操作。查看当前状态：[root@single~]#hdfsdfsadmin-safemodeget进入安全模式：[root@single~]#hdfsdfsadmin-safemodeenter强制离开安全模式：[root@single~]#hdfsdfsadmin-safemodeleave一直等待直到安全模式结束：[root@single~]#hdfsdfsadmin-safemodewait

HDFS高级功能02回收站HDFS为每一个用户都创建了回收站，这个类似操作系统的回收站。位置是/user/用户名/.Trash/。Hadoop回收站trash，默认是关闭的，可以通过配置core-site.xml文件开启此功能。修改conf/core-site.xml,增加如下内容propertynamefs.trash.interval/namevalue1440/value/property

HDFS高级功能03快照快照可以使某个损坏的目录或整个损坏的HDFS恢复到过去的一个数据正确的时间点。快照比较常见的应用场景是数据备份，以防止一些用户错误或灾难。快照功能默认禁用，开启或禁用快照功能，需要针对目录操作，命令如下(snapshotDir表示某个目录)：hdfsdfsadmin-allowSnapshotsnapshotDirhdfsdfsadmin-disallowSnapshotsnapshotDir创建快照、删除快照、重命名快照的命令如下：hdfsdfs-createSnapshotsnapshotDir[snapshotName]hdfsdfs-deleteSnapshotsnapshotDirsnapshotNamehdfsdfs-renameSnapshotsnapshotDiroldNamenewName

HDFS高级功能04HDFSHA(高可用)NameNode是集群的主节点，有单点失效的问题。

HDFS高级功能05HDFSHA(高可用)配置两个NameNode，一个为活跃状态，一个为备用状态。故障时马上切换。

HDFS高级功能06HDFS其他问题虽然HDFSHA解决了“单点故障”问题，但是在系统扩展性、整体性能和隔离性方面仍然存在问题：系统扩展性方面，元数据存储在NameNode内存中，受内存上限的制约。整体性能方面，吞吐量受单个NameNode的影响。隔离性方面，一个程序可能会影响其他运行的程序，如一个程序消耗过多资源导致其他程序无法顺利运行。HDFSHA本质上还是单名称节点。

HDFS高级功能07联邦Federatio座位示例：如果只有1个门，压力大多增加3个门。约定小学生只能从1，中学生只能从2，高中生只能从3，大学生只能从4进来。如果门4关了，大学生这些人进不来了。D盘4个目录，4个名称空间，A/B/C/D共享空间一旦对应的名称空间没有了，下面的文件就找不到了。

HDFS高级功能08联邦FederationHDFS的Federation指的是HDFS有多个NameNode或NameSpace，这些NameNode或NameSpace是联合的,它们相互独立且不需要互相协调，各自分工，管理自己的区域。每个NameNode或NameSpace有自己的池(pool)，池与池之间独立的。一个namenode挂掉了，不会影响其他namenode。但所有的池(pool)都是共享一个HDFS的存储空间。缺点：每个NN都还是存在单点故障问题的。

HDFS高级功能09联邦Federation一个NameSpace和它的