构建于廉价计算机集群上的云存储的研究与初步实现张兴旺.docx

第30卷第11期2011年11月情报杂志JOURNALOFINTELLIGENCEVol．30No．11Nov．2011构建于廉价计算机集群上的云存储的研究与初步实现!张兴旺1李晨晖2秦晓珠1(1．桂林理工大学图书馆桂林541004;2．桂林理工大学现代教育技术中心桂林541004)摘要云存储必须保证数据存储的可靠性、有效性、完整性及存储体系的可扩展性。本文通过对云计算环境下海量数据存储的业务需求的深入分析，在集中或分布管理的廉价计算机集群上，构建一种可扩展的、具备一定负载均衡能力的高性能云存储体系，并针对相应的研究问题进行测试与分析，给出相应的实现方法和实施策略，在搭建的云存储平台上，验证云存储体系可扩展性及负载均衡等问题的可行性。关键词云存储负载均衡HadoopHadoop分布式文件系统中图分类号G354．4TP393．05文献标识码A文章编号1002－1965(2011)11－0166－06ResearchandInitialImplementationofCloudStorageBasedontheClusterofCheapComputersZHANGXingwang1LIChenhui2QINXiaozhu11．LibraryofGuiLinUniversityOfTechnology，Guilin541004;2．ModernEducationTechnologyCenterofGuiLinUniversityOfTechnology，Guilin541004)AbstractCloudstoragemustensurethereliability，validity，completenessofdatastorageandscalabilityofstoragesystems．Basedonthecloudcomputingenvironment，thepaperanalyzesthebusinessrequirementofthemassdatastorageindepth，andcentralizedordistributedmanagementonaclusterofcheapcomputers，andbuildsascalable，loadbalancingwithacertaincloudofhigh－performancestoragesys-tems．Fortheresearchquestionsfortestingandanalysisaremadeandtheappropriateimplementationandenforcementstrategyarepresen-ted，andacloudstorageplatformisbuilttoverifythecloudstoragesystemscalability，andloadbalancingissuessuchasfeasibility．KeywordsCloudStoragebalancerHadoopHDFS0引言可以说云存储［1］是一种服务而不是存储［2］，指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统［3］。它最大的特点是拥有海量存储空间、高性能存储能力、低成本存储设备、以及可扩展的存储模式。从技术和业务模式层面来讲，它带来的最大变革是，将传统的以存储设备和技术为中心的存储模式转化为以存储服务为中心的服务模式，同时也为现今信息量爆炸式增长的海量数据的存储及处理带来了前所未有的机遇，包括大规模数据的存储能力、数据的协作共享能力、数据资源的整合以及大规模数据处理的计算能力等，这些机遇正在颠覆现有的网络存储架构及存储模式，逐渐克服传统的存储区域网(SAN)及网络附加存储(NAS)［4－5］在存储能力、计算能力及构建成本等方面的限制。鉴于此，国内外有许多商业团队和科研机构开展了关于云存储技术的研究工作，比较典型的有:Ama-收稿日期:2011－01－16修回日期:2011－07－13基金项目:广西教育厅科研项目“基于云计算的数字化信息资源建设模型及服务体系的研究”(项目编号:201010LX180)研究成果之一。作者简介:张兴旺(1982－)，男，硕士，馆员，研究方向:信息分析和信息处理;李晨晖(1984－)，女，硕士，讲师，研究方向:网络编程;秦晓珠(1963－)，女，副研究馆员，研究方向:数字化信息资源建设及服务体系。第11期张兴旺，等:构建于廉价计算机集群上的云存储的研究与初步实现·167·zon推出的简单存储服务(S3，SimpleStorageServ-ice)［6］及弹性块存储技术(EBS，ElasticBlockSt