基于删冗云存储文件系统客户端实现.doc

清 华 大 学 综 合 论 文 训 练 题目：基于删冗的云存储文件系统客户端的实现 系 别：计算机科学与技术系 专 业：计算机科学与技术 姓 名： 指导教师： 2010 年 6 月 11 日关于学位论文使用授权的说明 本人完全了解清华大学有关保留、使用学位论文的规定，即：学校有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存该论文。 (涉密的学位论文在解密后应遵守此规定) 签 名： 导师签名： 日 期： 中文摘要 本文以基于广域网的分布式存储系统Aegean System为服务器端实现一个具有删冗功能的客户端。客户端利用Fuse实现，具备用户态文件系统基本功能，同时支持用户的管理，并且利用基于内容分块算法——TTTD算法实现删冗，以减少网络传输量。 关键词：云存储；客户端；删冗；Fuse；TTTD；Aegean System ABSTRACT This wide area network based distributed storage system Aegean System for the server side to achieve a redundant function to delete the client, the client achieved using Fuse, the user mode file system with basic functions, while support for user management, and use of content-based block algorithm - TTTD algorithm to delete redundant, to reduce the network transmission capacity. Keywords：cloud storage; client; delete redundant; Fuse; TTTD; Aegean System目 录 第1章 引 言 1 1.1 背景介绍 1 1.2 服务器端——Aegean System 1 第2章 客户端的实现 3 2.1 客户端文件系统的实现 3 2.1.1 列目录请求11 2.1.2 创建目录请求27 2.1.3 移动文件请求28 2.1.4 删除文件请求29 2.1.5 重命名请求30 2.1.6 文件的读写31 2.2 客户端功能的实现33 2.2.1 文件上传的实现33 2.2.2 文件下载的实现35 2.2.3 用户管理的实现37 第3章 客户端删冗.. ...39 3.1 基于内容分块 39 3.2 分块算法——TTTD算法40 3.3 删冗的实现42 第4章 客户端演示及论文总结 46 4.1 功能演示 46 4.2 论文总结 48 插图索引 49 表格索引 50 参考文献 51 致 谢 52 声 明 53 附录A 外文资料的书面翻译 54 附录B 客户端与服务器端信息交互格式示例 65 引 言 背景介绍 云存储在云计算概念上发展出来的一个新的概念，而云计算是分布式处理、并行处理和网格计算的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多个服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以获得与“超级计算机”同样强大的网络服务——在数秒之内，处理数以千万计甚至亿计的信息。概念上，云存储与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 本文中所用到的服务器端就是一个云存储文件系统——基于广域网的分布式文件系统，而我所做的工作就是实现一个具有删冗功能的客户端，客户端的实现要以用户空间文件系统的形式实现，这里使用了开源项目Fuse，用它在ubuntu上实现一个用户空间的文件系统，具体介绍见下文客户端的实现中将有详细介绍。而客户端所对应的服务器端的实现虽然不是本文所关心的，但如果对服务器端不了解的话，客户端就没有了意义。下面我们将对Aegean System做一简单介绍。 服务器端——Aegean System Aegean System是一整套完整的广域网分布式存储系统，由基于key-value后端分布式存储服务(Aegean Store)、支持版本控制的文件系统表示层(Aegean FS)和各种存储应用(Aegean Sync、Aegean Share，etc)组成。系统目标是提供一个通用高可扩展的存储服务，并且具有