一种云存储服务客户端增量同步算法.PDFVIP

计 算 机 系 统 应 用 2014 年 第 23 卷 第 10 期 ① 一种云存储服务客户端增量同步算法 1,2 1 1 1 吕 瀛 , 刘 杰 , 马志柔 , 叶 丹 1(中国科学院软件研究所 软件工程技术研究开发中心, 北京 100190) 2(中国科学院研究生院, 北京 100049) 摘 要: 随着云计算技术的飞速发展, 越来越多的用户选择使用云存储服务来保存个人文件. 云存储共享与协作 技术允许用户之间共享云端文件, 支持其他用户通过各种智能终端上的客户端对文件进行读写操作. 云存储共 享与协作技术带来了文件历史版本大规模共享场景的需求, 这对云存储系统的并发 I/O 性能是极大的考验. 针对 云存储服务共享场景的特点, 挖掘文件历史版本之间的关系, 采用基于增量传输的优化技术来提升云存储系统 的传输性能. 在此基础上, 优化算法中强弱校验过程的内存占用和磁盘读写, 利用文件历史版本数据优化同步流 程, 有效的减少数据传输量, 并且提高系统的存储性能, 适用于带宽有限和网络不稳定和大规模共享同步等极端 场景. 关键词: 同步算法; 云存储服务; 共享同步; 多客户端; 并发 Increment Based Data Transmission Technique for Cloud Storage Service 1,2 1 1 1 LV Ying , LIU Jie , MA Zhi-Rou , YE Dan 1(Technology Center of Software Engineering, Institute of Software, Chinese Academy of Sciences, Beijing 100190, China) 2(Graduate University of Chinese Academy of Sciences, Beijing 100049, China) Abstract: With the fast development of cloud computing technology, more and more users choose cloud storage to store personal files. Storage and share technique allows users share files and visit others’ files with different kinds of client on the cloud. Storage and share technique brings the demand of large-scale share scene for the versioned files. This is a big challenge for the performance of simultaneously I/O. In this paper, according to the characters of the share scene in cloud storage, we try to dig the relationships between the versions of the file and take the increment based data transmission technique. By doing this, we optimized the performance of rolling checksum skill in increment algorithm and reduce the transmi