基于分布式文件系统HDFS篇能算法.pdf

No．5 第36卷第5期 计 算 机 学 报 Vo|．36 2013 2013年5月 CHINESE OFCOMPUTERS May JOURNAL 基于分布式文件系统HDFS的节能算法 廖 彬’2’ 于 炯’2’ 张 陶2’ 杨兴耀2’ ”(新疆大学软件学院乌鲁木齐830008) 2’(新疆大学信息科学与工程学院乌鲁木齐830046) Distributed 摘 要 与传统数据中心节能算法不同，MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop File System)节能算法时必须保证集群中所有数据块的可用性，即任意数据块或其副本中的至少一块处于活动状 态．根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存 储矩阵与数据块状态矩阵，为后续研究建立了基础模型．结合数据块状态矩阵与数据块可用性之问的关系设计了 DataNode节点休眠验证算法．概率分析了由于机架感知的存储策略带来数据块分布的随机性，使得在不改变数据 块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的．进而设计了数据块存储结构配 置节能算法与基于对称数据块存储策略下的节能算法，分别从改变数据块的存储结构与存储策略两方面对HDFS 进行节能改进．实验结果表明：两种节能算法都能解决HDFS集群的能耗低利用率问题，并且集群负载越低节能效 率越高。 关键词 云计算；分布式文件系统；节能计算；副本策略；绿色计算 中图法分类号TP311DOI号10．3724／SP．J．1016．2013．01047 forDistributedFile HD Energy—EfficientAlgorithms System LIAOBinl’2’YU ZHANGTao孙YANG Jion91’2’ Xing—Ya02’ 1’(School 830008) ofSoftware，xinjiangUniversity，Urumqi ”(School Scienceand 830046) ofInformation Engineering，xinjiangUniversity，Urumqi AbstractDifferentfromtraditional indata energy—efficiencyalgorithms mechanismof makes in Dis— computing MapReduceenergy—efficiencyalgorithmHDFS(Hadoop tributedFile ensurethe ofalldatablocksincluster，thatmeansatleast System