一种面向高性能计算的分布式对象存储系统-中国云计算.pdfVIP

第 卷 第 期 计 算 机 工 程 年 月 体系结构与软件技术 文章编号 文献标志码 中图分类号 一种面向高性能计算的分布式对象存储系统 陈 曦朱建涛何晓斌 江南计算技术研究所江苏 无锡 摘 要 现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题严重限制了系统性能 为此借鉴对 象存储思想设计面向高性能计算的分布式对象存储系统 分离数据访问和数据管理实现更精简高效的访问语 义同时采用分布式全局对象数据组织方式运用基于内存的元数据管理方法提升系统性能 实验结果表明在大 规模并发访问时该系统的读写聚合带宽相比系统分别提升 和 文件创建删除性能分别达 到系统的 倍和 倍 此外该系统还具有拟线性的数据读写和元数据管理功能可扩展性较好 关键词 高性能计算对象存储存储语义元数据管理可扩展性 中文引用格式陈 曦朱建涛何晓斌一种面向高性能计算的分布式对象存储系统 计算机工程 英文引用格式 的局限性主要表现在以下方面 概述 目录树结构在组织海量文件时效率低下存 在高性能计算领域随着计算规模的不断扩大 在元数据性能瓶颈 以目录树的形式组织随着存 其配套存储系统规模也在快速扩展同时支撑的应 储的文件数量越来越多目录树变大变深维护庞大 用也从传统的科学计算扩展到数据分析等领域给 的目录结构会给系统带来巨大的元数据管理开销 目前高性能计算机上普遍使用的以分布式文件系统 同时目录结构致使每次文件操作都需要多次与元 为核心的集中共享文件系统带来了严峻挑战 数据服务进行交互导致访问效率低下 传统的分布式文件系统如 数据访问与单机文件系统相同未有针对高性 等均为通用分布式共享文件系 能计算环境特点的优化 首先标准所提供的 统遵循 存储语义进行存储空间的组织和数 文件访问接口主要分为 类 据访问功能完备系统设计复杂在应对高性能计 等数据访问接口 算环境下海量数据存储高并发数据访问时有很大 等数据管理接口 在高性能计算环境中计算节点应 基金项目国家高技术研究发展计划项目 作者简介陈 曦 女硕士研究生主研方向为海量