一种改进的云存储系统容错机制-计算机应用研究.pdfVIP

第 卷第 期 计 算 机 应 用 研 究 年 月 一种改进的云存储系统容错机制 聂瑞华 张科伦 梁军 华南师范大学网络中心 计算机学院 广州 摘 要 在云存储平台下提出了一种基于访问统计的自适应容错机制该机制通过近似最近最少使用 算法维护一张文件访问频率表来自适应调整容错方式 对于常读取的文件采用副本冗余机制对于不 常读取的文件采用 纠删码容错机制 实验结果表明相对于副本冗余机制在和 内存使用率可接受范围内的增加上减少了系统内部数据的传输流量即减少了系统存储空间 关键词 云存储 纠删码 文件访问频率表 自适应 容错机制 中图分类号 文献标志码 文章编号 引言 分布式文件系统简述 随着数据量的急剧增长数据存储需求对存储系统的可靠 项目是基金组织的一个项目其目的是实 性吞吐性能提出了更高要求 分布式存储系统能够分散数据 现一个运行在大数量廉价的普通部件上的数据密集型的可靠 服务器的压力获得较高的吞吐量提供高可靠性高性能的存 的可扩展的分布式计算框架 是一个开源项目已经 储系统它已经成为当前服务供应商常用的存储技术其中云 成为一个非常流行的分布式数据密集型应用的快速解决方案 存储就是一个很典型的应用 模型 很多公司都对 项目有极大的兴趣包括 等 其中 已经将 大部分云存储平台 的容错机制为副本冗余机制该系 部署在由 个节点搭建的集群上用来实现商业 统实现简单能达到服务器负载均衡的目的有较高的吞吐量 应用 但副本备份需要消耗大量的存储空间 有学者提出采用纠删 分布式文件系统的架构 码容错机制作为云存储系统的容错机制采用这种方法能够减 分布式文件系统 少备份所消耗的存储量并且能够提供较高的可靠性但会降 它是 框架的存储基础层是 架构中的 低服务器负载均衡能力 一个关键组成部分实现了框架对于输入输出数据的存储管 在实际的生产活动中云存储系统中并不是所有的文件都 理和差错控制功能 具有很高的可靠性可扩展性文 处于经常被读取的状态有相当一部分文件很少被读取或者仅 件吞吐率及移植性适用于廉价的普通部件的大规模集群上的 作为备份供以后查看 针对