一种用于分布式存储系统的高效修复编码-钱学森空间技术实验室.PDF

一种用于分布式存储系统的高效修复编码 袁 帅 （钱学森空间技术实验室空间技术与应用基础研究部，北京100094） 1 引言 我们生活在数据大爆炸的时代，很难估算全球电子设备中存储的数据总共 有多少。国际数据公司（IDC）曾经发布报告称，2006 年数字世界（digital universe ） 项目统计得出全球数据总量为0.18ZB 。（1ZB 等于1021 字节），这相当于全世界每 人一个硬盘中保存的数据的总量！ 目前而言，不仅全球的数据总量大，数据的来源也非常大，产生速度惊人！  纽约证交所每天产生的教育数据多达1TB；  Facebook 存储的照片月100 亿张，存储容量约为1PB；  互联网档案馆（The Internet Archive ）存储的数据约为2PB，并以每个 月20TB 的速度在增长；  瑞士日内瓦附近的大型强子对撞机每年产生的数据约为15PB。 数据存储技术是大数据时代的核心技术之一。目前数据的存储方式分为集 中式存储和分布式存储两种方案。集中式存储系统中，所有的数据都堆放在同一 个存储机柜中。面对如此大规模的数据，传统的集中式存储技术需要花费大量成 本来实现数据的存储与部署；数据的共享性差，面对大量用户访问时极易造成系 统拥塞等问题。 分布式存储可以将数据分散在不同的存储节点之上。这些节点可以是普通 的商业主机，从而能大大降低系统的部署成本。多台主机也有效分担了存储负荷， 分散了用户的访问请求。与集中式存储系统相比，分布式存储具有可扩展、成本 低、性能高等优势，因此未来数据的存储与部署的关键技术是分布式存储技术。 2 分布式存储系统的可靠性问题 2.1 分布式存储系统的存储效率问题 分布式存储系统的原理就是将要存储的数据分散地存于多个节点之上。这 些节点之间通过网络彼此连接，从而构成整个存储系统。随着系统规模的扩大， 各种类型故障 （如电源故障，网络中断，系统维修）等都会严重影响整个存储系 统的性能。表1 列出了Google 的某数据中心第一年运行出现的各种故障及影响。 表1 Google 某数据中心第一年运行发生的故障 发生频率 故障类型 影响范围 0.5 数据中心过热 5分钟内大部分机器断电 1 配电装置故障 大约500到1000台机器瞬间下线 1 机架调整 500~1000台机器断电 1 网络重新布线 大约5%的机器下线超过两天 20 机架故障 40~80台机器瞬间下线约1到6个小时 5 机架不稳定 40~80台机器发生50%的丢包 12 路由器重启 DNS和对外虚IP服务失效几分钟 3 路由器故障 需要立即切换流量约1小时 几十 DNS故障 持续约30秒 1000 单机故障 机器无法提供服务 几千 硬盘故障 硬盘数据丢失 频发的故障经常引起存储数据的丢失或损毁，这些都严重影响着整个分布 式存储系统的可靠性。为了保证存储系统的可靠工作，必须引入冗余。数据复制 是最简单的冗余形式，很多文件系统如磁盘阵列、Google 文件系统、Hadoop 文 件系统都采用数据复制的方式抵抗存储节点损毁。随着存储数据量的提升，研究 者们越来越发现纠删码是一个更好的选择——在相同的存储资源消耗之下，纠删 码可以提供比数据复制高几个数量级的系统可靠性。 最大距离可分（Maximum distance separable, MDS ）码，是一种性能优秀的 纠删码，它能够提供最优的存储与可靠性的折中。一个采