LHAASO数据处理平台建设及进展.pdf

LHAASO数据处理平台建设及进展 程耀东 高能所计算中心 2016年8月15 日 主要内容 • 计算需求 • 数据处理平台方案 • 建设进展 • 工作安排计划 2 离线数据处理平台 • 实验数据经过DAQ获取之后，进入离线计算平台 • 提供数据存储、传输、共享、分析处理的支撑服务 小型在站 数据中心 当地 电信网络 稻城海子山 观测基地 租用带宽 稻城县城 测控基地 离线数据处理中心 分布式计算平台 北京高能所 计算中心 3 数据处理过程 触发前 探测器 DAQ (~2386MB/s, ~20Gbps) 触发后 (~340MB/s, ~2720Mbps) 在站计算集群 快速处理后 广域网传输 (2500 核) (~61MB/s, (500 Mbps) ~488Mbps) 在站存储 北京 (300 TB) 离线数据处理平台 观测基地 (4500核) 磁盘 ：4 PB 磁带 ：20PB （每年2PB） 计算资源需求 • 存储需求 • 原始与重建数据存入磁带，每年1834TB • 共2265TB的模拟数据 • 每年产生~2PB数据，共需要20PB以上的磁带库存储 • 另外需要20PB的离线备份磁带柜以及4PB以上的高性能并行文件系统 • 计算系统 • 7000CPU核的高性能计算系统 • 4500核用于重建；1500核用于模拟 ；1000核用于分析 • 网络系统 • 每年需要从实验站传输1834TB，需要500Mbps的带宽 • 考虑带宽利用率，建议租用1Gbps的链路 • 目前国内产生数据量最大的科学实验装置之一 5 在站小型机房设计 • 满足