基于超算云的高性能计算服务化平台.docx

基于超算云的高性能计算服务化平台

湖南大学国家超级计算长沙中心

1、背景和挑战

2、高性能计算服务化关键技术

3、超算云服务平台及整体架构

提炼算法分解背景：高性能计算服务化是面向业务需求领域的全流程服务化

提炼

算法

分解

实际问题

1

数学模型

2

求解器

3

任务

调度

4

并行

计算

计算

结果

MPV混动车型

MPV

SUV

微卡电动车

微卡

背景：高性能计算服务化=高性能计算集群+云原生+函数计算

FAAS

SAAS

PAAS

IAAS

Functions

Application

Runtime

OperationSystem

VirtualizationContainer

高性能计算机/超算系统

基础数学函数库(高性能计算算子)

归并N体波尔兹曼磁快速傅里叶稀疏矩阵

比对方法流体力学变换向量乘

前后处理模块冲压成形仿真

前后处理模块

冲压成形仿真

体积成形仿真

结构力学分析仿真

热力学分析仿真

裂纹扩张仿真

工程优化工具箱

材料数据库

dockeropenstackSOUD

docker

openstack

SOUDSOFTWAME

背景

背景：大规模异构是超级计算发展的主流

2013.06

天河二号

每秒5.49亿亿

次

CPU+MIC

2016.06

神威·太湖之光

每秒12.5亿亿次

申威26010

片上主处理器(1个)

和协处理器(64个)

内存共享

2018.62020.62021

美国顶点日本富岳天河三号

每秒百亿亿次每秒20亿亿次Power+GPU

每秒百亿亿次

每秒20亿亿次

Power+GPU

ARM飞腾+迈创

ARM

A64FX处理器

48计算核心

4协处理核心

挑战：传统超算在操作使用上难以原生适应高效的计算服务化，

智能应用场景、AI计算特性为高性能计算服务化提出了更高要求

超算调度系统超算算法库

涉及数据的

涉及数据的

实际特征较少

模型和数据

自适应/并行难

缺乏适应超算

异构并行的机

器学习算法库

感知差

自适应低

算力浪费

需解决的问题1

Serverless:数据和应用感知的任务调度与资源分配

需解决的问题2

云原生：构建高效的分布式机器学习环境

需解决的问题3

函数计算：融合高性能计算与机器学习算子

高效能数据

并行处理与

智能分析系统

如何基于现有主流超算系统的系统结构

构建高性能计算云服务基础设施，解决HPCfor大数据与AI计算的难题

1、背景和挑战

2、高性能计算服务化关键技术

3、超算云服务平台及整体架构

Serverless

Serverless:数据和应用感知的任务调度与资源分配

Serverless≠FaaS

Serverless=FaaS+BaaS

BaaS=DC+DaaS

构建数据和应用感知的分布式

计算和数据处理环境

Serverless:数据和应用感知的任务调度与资源分配

Spark中的Shuffle过

Spark中的Shuffle过程均衡调度

自适应数据流中间分区方法

基于动态内存感知的任务调度算法

任务调度

数据偏斜

Spark中的SKRSP

环境感知

环境感知任务调度

计算框架最优本地性感知任

计算框架

务调度算法

其它任务调度

其它任务调度

优化总通信距离的Executor分配方法

略

Serverless:数据和应用感知的任务调度与资源分配

提出面向Hadoop架构的内部通信量优化的Shuffle过程任务放置策略

Splitn

Split:2

DataNode1

Split2t

Splitz

DataNode2

Split

Splita

DataNode3

HDFS

Data

Block

map-out

map-out

map-out

Intermediat

edata

Monitors

SamplingJob

物Dhsraol

Data

Block

Data

Dispatchin

gMatrix

Data

Block

Reservoir

和缝除新体

Task

Placement

Cost

Matrix

MapPhase

Reduce

Placeme

nt

Pa

ShufflePhase

ReducePhase

WorkingJob

提出抗数据偏斜的Spark中间数据分片机制

分片0

分片1

中间数据分布预测

①采样②分布预测

采样任务0

分