分布式文件系统中的负载平衡技术分析.pdfVIP

竺童查兰壁墨竺!竺墨塞兰塑垫垄型塾．竺兰————一 摘要 I／O了系统，特别是存储子系统，逐渐成为计算机体系结构研究的核心。随着 磁翩‘防问技术和网络互联技术的飞速发展，高性能、可扩展、高可用、易管理的 以蹦络存储为核心的计算机体系结构越来越成为网络服务器系统发展的主要趋 势。作为网络存储系统的一个重要组成部分，分布式文件系统为应用提供高性能、 可扩展、高可用的文件服务。因此，本文旨在研究如何通过负载平衡提高系统资 源的利用率从而达到提高存储系统的可扩展性的月的，具体包括设计可扩展的文 件系统结构，研究文件系统负载平衡策略。 文章根据NFS服务中元数据操作和文件数据操作所占用的系统资源比例～一 元数据操作占用约50％的cpu时间，提出了将元数据与文件数据分开处理的网络 服务器系统结构一一蓝鲸网络存储系统(简称BW系统)。BW系统是一种以网络 存储为核心的新型网络服务器系统。出于数据集中存储和管理，与传统的直接连 接存储系统DAS相比，本系统具有数据及管理共享，服务、存储空间及管理可扩 展，动态性等一系列优点。同时，文中给出了其原型系统BWIK网络存储系统的 实现描述和文件访问机制。 对于大型的存储系统，馒用多个元数据殿务器MS处理频繁豹元数据操作，因 此需将元数据处理均匀地分布到MS集群中。MS上的负载是由映射在它上面的元 数据的防闯情况所决定。文章首先分析了网络应用环境中文件访问负载的特点， 的不足，照恁提出了一种动态的元数据映射策略。该策略是一种出绑定服务器BS 和MS集群共同完成的集中式负载平衡策略。它在考虑文件访问局域性的同时， 兼顾了MS上的负载状况。同时，在策略中只对那些被激活的元数据进行映射， 使得在减轻Bs空间负载的同时，也体现了负载映射的灵活性。通过元数据密集型 负载和SpecWeb99测试表明该动态映射其有良好的负载平衡能力，同时，BS的引 入不会成为系统性能的瓶颈。 文中还讨论了关于负载的动态转移方面的一一些研究，给出一一些设计考虑。正 i【=II上面负载映射的灵活性保证了负载平衡处理的第二步～一负载动态转移的可行 ，t4．。． 关键词： 网络存储系统，分布式文件系统，元数据操作，负载动态平衡，映别繁鹏 坌查三!兰塞壁墨丝!塑垫垫!堕垄尘竺苎二_型坚竺生—————————～—— File lnDistributed ResearchOnLoad Technology System Balancing and Tian Architecture) Component Ying(Computer Li Directed By Guojie Abstract： the has become gradually 】n thetimethatI／O storagesub—system sub．system，especially the ofdisk on architecture．with thecenterofresearch system