一种基于授权机制的分布式文件系统小文件访问优化-计算机系统应用.PDF

2013 年 第 22 卷 第 7 期 计 算 机 系 统 应 用 一种基于授权机制的分布式文件系统小文件访问优 化策略① 曹风华 ( 内蒙古财经大学 计算机信息管理学院, 呼和浩特 010070) 摘 要: 针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了 客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求 并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需 向服务器发送缓存数据的有效性验证 RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求 RPC 的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载. 关键词: 分布式文件系统; 海量小文件; 元数据缓存; 授权机制; pNFS; Optimization Strategy Based on Delegation Mechanism for Distributed File System in Massive Small File Access Patterns CAO Feng-Hua (Computer Information Manage College, Inner Mongolia University of Finance and Economics, Hohhot 010070, China) Abstract: Aiming at the system performance degradation problems of distributed file system in massive small file access patterns, designed and implemented a delegation mechanism for meta data cache in client .The client apply some kinds of delegations when getting meta data from the server. The meta data server checked and decided ecide whether to grant the delegation or not. Once the client getting the delegation which is stored in the local memory, the meta data getting operation can be unnecessary to sent RPC request. The simulation result shows that our method in this paper can reduce the number of the RPC request effectively, and aving valuable network bandwidth resources, reducing the metadata server load. Key words: distributed file system; massive small files; metadata cache; authorization mechanism; pNFS; web2.0 、社交网络等新兴应用的兴起, 海量小文件 取技术[2] 、服务器文件预创建技术[2,3] 、I/O 聚集[2,3] 、 的访问性能问题日益严重. 分布式文件系统作为存储 Cache 技术[4,5] [6]