基于可变长分块的分布式文件系统设计与实现.PDF

第 卷 第 期 计 算 机 工 程 年 月 体系结构与软件技术 文章编号 文献标识码 中图分类号 基于可变长分块的分布式文件系统设计与实现 许艳艳 雷迎春 龚奕利 武汉大学计算机学院武汉 中国科学院计算技术研究所北京 摘 要 分布式文件系统受传统磁盘文件系统影响大多使用固定大小的对象或者块来组织和管理文件 定长的 分块不适合随机写或插入写开销大且性能差但典型的用户约有 的文件操作是随机写 针对上述现状提出 一种基于内容的可变长文件分块方法使用拉宾指纹算法对文件进行分块并根据文件的内容标识文件块 为更 准确地指定写类型提高写性能给出与语义兼容的写接口 通过修改 实现一种新的分布式文件系统 提供文件的可变长分块并支持新的写接口 实验结果表明由于减少网络数据传输量在随机写延 迟和带宽消耗量上比 减少了 个 个数量级 关键词 固定长分块可变长分块分布式文件系统随机写元数据服务器 中文引用格式许艳艳雷迎春龚奕利基于可变长分块的分布式文件系统设计与实现计算机工程 英文引用格式 使用户备份个人或工作文件到云存储服务器上并在 概述 需要时及时更新这些文件 同时云存储和基于云的 基于云的文件系统和文件存储服务如 文件系统已经成为适用于各种应用程序的基础层 例如 把它的数据存储在分 等为用户提供了一个可靠和便捷的方法 基金项目国家 计划基金资助项目 国家自然科学基金资助项 目 华为公司创新研究计划基金资助 项目 作者简介许艳艳 女硕士主研方向为分布式文件系统雷迎春副研究员龚奕利通讯作者 副教授 收稿日期 修回日期