Hadoop学习总结之二：HDFS读写过程解析.docVIP

一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException { ? return new DFSClient.DFSDataInputStream( ??????? dfs.open(getPathName(f), bufferSize, verifyChecksum, statistics)); } 其中dfs为DistributedFileSystem的成员变量DFSClient，其open函数被调用，其中创建一个DFSInputStream(src, buffersize, verifyChecksum)并返回。 在DFSInputStream的构造函数中，openInfo函数被调用，其主要从namenode中得到要打开的文件所对应的blocks的信息，实现如下： ? synchronized void openInfo() throws IOException { ? LocatedBlocks newInfo = callGetBlockLocations(namenode, src, 0, prefetchSize); ? this.locatedBlocks = newInfo; ? this.currentNode = null; } private static LocatedBlocks callGetBlockLocations(ClientProtocol namenode, ??? String src, long start, long length) throws IOException { ??? return namenode.getBlockLocations(src, start, length); } LocatedBlocks主要包含一个链表的ListLocatedBlock blocks，其中每个LocatedBlock包含如下信息： Block b：此block的信息 long offset：此block在文件中的偏移量 DatanodeInfo[] locs：此block位于哪些DataNode上 上面namenode.getBlockLocations是一个RPC调用，最终调用NameNode类的getBlockLocations函数。 1.2、NameNode NameNode.getBlockLocations实现如下： public LocatedBlocks?? getBlockLocations(String src, ??????????????????????????????????????? long offset, ??????????????????????????????????????? long length) throws IOException { ? return namesystem.getBlockLocations(getClientMachine(), ????????????????????????????????????? src, offset, length); } namesystem是NameNode一个成员变量，其类型为FSNamesystem，保存的是NameNode的name space树，其中一个重要的成员变量为FSDirectory dir。 FSDirectory和Lucene中的FSDirectory没有任何关系，其主要包括FSImage fsImage，用于读写硬盘上的fsimage文件，FSImage类有成员变量FSEditLog editLog，用于读写硬盘上的edit文件，这两个文件的关系在上一篇文章中已经解释过。 FSDirectory还有一个重要的成员变量INodeDirectoryWithQuota rootDir，INodeDirectoryWithQuota的父类为INodeDirectory，实现如下： public class INodeDirectory extends INode { ? …… ? private ListINode children; ? …… ｝ 由此可见INodeDirectory本身是一个INode，其中包含一个链表的INode，此链表中，如果仍为文件夹，则是类型INodeDirectory，如果是文件，则是类型INodeFile，INodeFile中有成员变量BlockInfo blo