华为UDS助力CERN轻松应对EB级海量数据挑战.PDF

成功案例 华为UDS助力CERN轻松应对EB级海量数据挑战 “CERN在执行数据密集型模拟和分析方面正在面临极限，同华为的合作为我们展现了一个令人激动的 新途径，我们看到华为云存储优良的架构设计，使得CERN在应对未来EB级数据量的挑战时也能够轻松 应对。” Bob Jones, head of CERN OpenLAB 摘要 客户简介 CERN （European Organization for Nuclear Research ），欧洲核子研究组织，成立于1954 行业 年9月，总部位于瑞士日内瓦，是世界上最大的粒子物理学实验室，也是WWW 的发祥 政府与公共事业 地。CERN聘用大约三千名的全职员工，并有来自80个国家的大约6500位科学家和工程 师，代表500余所大学机构在CERN进行试验，这大约占了世界上的粒子物理学圈子的 业务挑战 一半。  每年至少新增20PB 的海量数据； CERN拥有全球最大的LHC （Large Hadron Collider ），即大型强子对撞机系统，用于国  实验中每秒产生的待存储数据高达 际高能物理学研究之用。LHC在2008年9月投入运作，每年产生约15PB的海量数据，远 6GB ； 远超过单一研究机构的计算处理能力，因此CERN需要与全球不同国家的研究机构展开  全球超过500所研究机构和大学、近 合作，将这些实验数据以串流的方式发送到世界上的各个合作实验室进行分散处理。 5000名科学家需要协同运作；  海量数据带来的设备投资、能耗、维 护费用等TCO压力。 业务挑战 LHC实验产生的数据将分布到全世界，同时在CERN的Tier 0数据中心用磁带保留一个主 解决方案 备份。经过初始处理，CERN将这些数据将分流到全球11个Tier 1数据中心，并由这些  华为提供UDS云存储解决方案，支持 Tier 1数据中心继续分流到全球140个Tier 2数据中心进行存储与分析。 从TB级到EB级灵活扩展； 随着实验规模和级别的不断提升，2012年，CERN产生的实验数据达到20PB，预计2013  UDS采用分布式架构，支持数据的多 年将达到25PB 。如此海量的数据存储需求，使CERN的数据中心面临诸多压力： 副本与擦除编码存储，保证了系统的 可靠性与吞吐能力（仅取决于传输接  海量存储。从2012年开始，每年至少新增20PB 的海量数据存储需求，而根据CERN 口的带宽）； 的规定，每次实验数据的生命周期最低为15年。按照最低限度计算，CERN的数据  UDS 采用ARM 芯片，支持消费级硬 中心至少需要具备300PB的存储能力，才能满足科研的需要。目前，CERN 自有数 盘，设备投资与功耗均得到有效控制。 据中心的磁盘系统已经使用25PB，剩余容量不足40PB，且整个系统在架构层面无 法继续支撑迅猛增长的海量实验数据。此外，CERN还有75PB的数据存放在磁带 客户收益 库中，庞大数量的磁带不仅降低了数据归档和索引的效率，也使磁带的管理和维  OPEX降低45% ； 护工作极为繁重。  可靠性达11个9 ，确保不丢数据；  可靠性与吞吐能力。每次碰撞试验，CERN投入的人力数以千