高性能计算 分布式存储文件性能测试方法.pdfVIP

高性能计算分布式存储文件性能测试方法

1范围

本文件描述了高性能计算分布式存储文件性能测试方法，包括分布式存储元数据性能、数据一致

性、带宽性能、单流最大带宽、IOPS性能及时延、集群扩展性能和可靠性的测试方法。

本文件适用于HPC应用中分布式存储文件的IO性能及集群扩容能力的测试，为用户选型提供可量化

的参考依据。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适

用于本文件。

GB/T37737-2019信息技术云计算分布式块存储系统总体技术要求

T/CESA1312-2024高性能计算分布式存储系统技术要求

3术语、定义和缩略语

3.1术语和定义

GB/T37737-2019界定的以及下列术语和定义适用于本文件。

3.1.1

卷volume

块存储系统中物理空间的逻辑分区，为虚拟机（VM）或物理机提供裸设备方式进行数据存取。

可以进行创建、删除、扩展等操作。

[来源：GB/T37737-2019，3.1.3]

3.1.2

客户端client

发起请求并接收响应的设备或软件。

3.1.3

存储池storagepool

逻辑卷中数据块的分布范围。

[来源：GB/T37737-2019，3.1.7]

41

3.2缩略语

下列缩略语适用于本文件。

Cache：缓存内存（CacheMemory）

CPU：中央处理器（CentralProcessingUnit）

HPC：高性能计算/超算（HighPerformanceComputing）

I/O：输入/输出（Input/Output）

IOPS：每秒的输入输出量（Input/OutputOperationsPerSecond）

IP：网际协议（InternetProtocol）

4测试指标

4.1概述

高性能计算分布式存储文件性能的测试，主要测试以下性能指标：

a）针对高性能计算应用中大规模分布式集群所用的元数据服务器，测试元数据性能；

b）针对高性能计算应用场景中的高并发和多线程的读写操作时，文件数据一致性的测试；

c）针对大文件（如大小1G），测试带宽性能；

d）针对高性能计算应用场景下的单客户端的单流最大带宽性能测试；

e）针对小文件（如大小8K）测试IOPS性能,为了保证满负荷压力测试，压力机的数量为分布式存

储节点数量的2倍；

f）针对分布式存储节点的可扩展性测试线性扩容性能，如10节点的性能理论上是5节点的性能的

2倍左右；

g）针对分布式存储系统内各节点的关键部件或是节点级别的故障，整体系统的可靠性测试。

4.2指标描述

高性能计算分布式存储文件性能测试指标描述见表1。

表1性能测试指标描述

指标名称测试目的测试方法简要描述

元数据性能元数据节点在高并发情况下模拟大量用户同时访问元数据节点的情况，测试的文件基线为过亿

的性能表现小文件。观察元数据节点的响应时间和吞吐量。

数据一致性测试高并发场景下数据一致在分布式文件系统中创建共享目录，由压力机进行多线程测试模拟

性高性能计算中多线程高并发情况下分布式文件系统如何保持读写数

据的一致性。

带宽性能大文件的并发吞吐量生成适合高性能计算场景的测试数据,设计测试用例来模拟大文件

（1GB）的创建、读取、更新和删除等操作。

Ⅲ

表1性能测试指标描述（