Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念.pptx

Hadoop大数据项目开发——HDFS体系结构

目录content02数据节点块0405第二名称节点01HDFS体系结构03名称节点

HDFS体系结构HDFS的核心组件是名称节点（NameNode）和数据节点（DataNode）。它是一个主/从（master/slave）架构的系统，即一个HDFS集群由一个NameNode和若干DataNode组成。其中，名称节点为主节点，数据节点为从节点。HDFS的体系结构

块的概述Hadoop2.X版本默认的块大小为128M。块是HDFS中的最小存储单位，并且可以自定义大小。块按实际大小存储。拆分出来的块会有它相应的副本。

块的优势可以存储任意大小的数据文件，不用再受单个节点磁盘容量大小的限制。简化了文件存储子系统的设计，将元数据信息和文件数据信息分开存储。有利于实现负载均衡并提高集群可靠性。有利于实现分布式文件系统的容错性。

名称节点概述名称节点是整个HDFS集群的管家，名称节点上存储的元数据信息包括：数据块到数据节点的映射信息。每个文件由哪些数据块组成。文件目录的所有者及其权限。文件名、目录名及其层级关系。

名称节点的数据结构元数据信息可被持久化到本地磁盘的两个文件中，分别是元数据镜像文件（fsimage）和事务日志文件(edits）。fsimage存储着文件系统的所有命名空间信息。edits存储着HDFS数据的事务操作日志。名称节点的数据结构所谓的持久化，就是指把数据保存到可永久保存存储设备（如磁盘）中。

数据节点概述每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中。负责为客户端或名称节点提供数据的检索和读写服务，并通过“心跳”定期向名称节点发送自己的块列表信息。存储着HDFS文件的真实数据，负责数据的存储和读取

第二名称节点因为事务日志文件（edits）开始比较小，但随着对数据的不断修改，事务日志文件（edits）会不断增大，大到一定程度的时候，又会影响整个系统的功能，由此引入第二名称节点。1.对元数据镜像文件（fsimage）和事务日志文件（edits）定期合并，缩短名称节点（NameNode）的重启时间，提高系统性能。2.是名称节点的冷备份，因为名称节点有可能发生故障。为什么又引入第二名称节点？第二名称节点的功能：

本节小结负责管理整个文件系统元数据。名称节点负责管理具体文件数据块存储。数据节点协助名称节点进行元数据的备份。第二名称节点