广域网存储服务中数据传输中间件的研究与实现-计算机系统结构专业论文.docxVIP

华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘要? 随着网络技术的迅速发展，通过网络进行传输的信息量正呈指数级增长，网络 存储系统的研究已经成为计算机领域的一个研究热点。下一代互联网时代的到来对 网络存储提出了新的要求，那就是海量结点，超大容量，服务式存储，高可靠性， 高可用性和高性能。 广域网存储服务 USTOR(Ubiquitous Storage)基于 IPv6 在广域网范围构建，支持 PB 级的总存储容量和至少 256 个分布式存储节点。系统分为存储管理、元数据和数 据传输中间件三个部分。存储管理建立在存储管理主动规范协议之上，对各种异构 的存储设备进行统一管理，并收集存储节点的设备和网络信息提交给元数据管理部 分；相关信息被元数据模块处理成为全局视图的变量，交给上层的动态负载平衡模 块，该模块协调各个存储节点之间的负载平衡和实现用户存储空间的分配与调度； 数据传输中间件为用户提供存储服务，主要是数据管理和数据快速、安全的传输。 作为 USTOR 的重要组成部分，数据传输中间件在开放、动态的 IPv6 网络环境 下实现数据的快速存取和安全可靠的传输。数据传输中间件主要包括三个部分：数 据传输协议，安全机制和移动 Cache 机制。数据传输协议实现了信息通信和数据传 输；安全机制包括三方身份认证和安全传输机制，前者是对用户的身份进行检验， 而后者是为了防止重要数据在传输过程中被窃取和篡改而设置的安全措施；移动 Cache 机制建立在协议之上，是对传输性能的优化，可以改善传输中间件的传输服务 质量。 最后在实验室搭建的广域网存储服务 USTOR 平台上进行了测试。测试结果表 明，数据传输中间件和传统的传输协议（如 FTP）相比，在传输性能上有着一定的 优势，使用移动 Cache 机制进行传输优化后，传输性能得到很大提高，传输的安全 性在安全机制的保障下得到进一步提高。 关键词：网络存储，存储管理主动规范，负载平衡，移动缓存 ???该项研究受国家重点基础研究“973”计划(2004CB318201)和下一代互联网示范工程 CNGI“面向下一代互联 网的智能网络存储系统”(分项 CNGI-04-5-1D)资助 II II Abstract? Along with the rapid development of network tech, the information transferred by network is increasing at exponent level. The research on network storage system is becoming a new hotspot in computer architecture field. Also, the next generation of the Internet put forward the new requirement of network storage that is massive in node and capacity, storage service, high reliability, convenient usability and excellent performance. The Storage Service USTOR (Ubiquitous Storage) for the Next Generation Internet is set up in IPv6 WAN, which supports the total storage capacity of PB class, and supports at least 256 distributed nodes. The system is divided into such three parts as the storage management, metadata management and the data transfer middleware. The storage management component based on the SMI-S (Storage Management Interface Specification) protocol is responsible for the unifying management of various storage equipments, and collecting from each storage note of the related data to the metadata management component. Related data is p