欧洲数据网格DataGrid 背景 欧洲原子能研究机构CERN 欧洲原子能 .DOCVIP

欧洲数据网格DataGrid 背景 欧洲原子能研究机构CERN 欧洲原子能研究机构CERN成立于1954年，是世界最大的粒子物理研究中心。CERN是欧洲第一个联合研究机构，由20个成员国提供资金，其卓越成绩已经成为国际合作的典范[43]。 CERN位于法国和瑞士的交界处，就在日内瓦的郊区。CERN主要研究物质是怎样构成的，以及是什么把它们结合起来的。CERN建有世界上最大的正负电子对撞机LEP（Large Electron-Positron collider）和超级质子同步加速器SPS(Super Proton Synchrotron)，如图 41所示，大圆是LEP，周长达到27公里，粒子能够加速到每秒运动11000周，接近光速。小圆是SPS。与加速器配套的是四层楼高的粒子检测器，用于对粒子性质进行分析。 图 41 CERN（大圆为LEP，小圆为SPS） 来自全世界80多个国家、500多所大学及研究机构的6500多名科学家（占全球粒子物理学家的一半）在CERN进行各种各样的实验。CERN自身拥有各种各样的技术支持人员，包括物理学家、工程师、程序员、技术人员、管理人员、工人等，他们负责建立各种复杂的设施并保障其正常运转。在CERN完成的实验也是前所未有的，通常需要数百名科学家在巨大的设备上共同完成，一个实验昼夜不停，持续数月乃至数年。 顺便说一句，CERN同时也是寰球网WWW(World Wide Web)的发源地[44]。1990年，CERN的计算机科学家Tim Berners-Lee，为了方便分布于世界各地的高能物理学家之间的协作，设想和开发了WWW客户端和服务器端，还定义了URL、HTTP、HTML等。正是由于Tim等人的贡献，Internet才变成了大家今天所习惯的模样。 大型强子对撞机LHC 目前CERN有1800名物理学家正在为下一代全新的加速装置作实验准备。该装置称为大型强子对撞机LHC（Large Hadron Collider），将于2005年投入使用，这将是人类历史上最强大的粒子加速器[45]。未来在LHC上进行的实验的参加单位、人数及产生的数据量也是前所未有的，这一点可以从LHC与LEP的对比看出来（表格 41[46]）。做个类比，LHC将要产生的数据量，将是目前CERN所有设备产生的数据量的总和还要多一到两个数量级。 表格 41 LEP与LHC的对比 ? LEP LHC 原始数据产生速率 1MB/sec 100MB/sec 每年的事件数 107 ~109 每年的数据量 0.2-0.3 TB 1 PB 平均事件大小 20 – 50 kB 1 MB 实验参加人数 400 - 600 ~2000 实验参加组织数 30-50 ~150 ? DataGrid LHC的出现将给计算科技带来全新的挑战，为此，需要有空前的计算能力来处理这些数据，空前的人类智慧来分析这些数据，以及空前的存贮能力来保存这些数据。解决这些问题的基本思想是把海量数据分散到全球的计算机上进行处理，并由全球的物理学家共同分析之。在这个背景下，欧洲的数据网格DataGrid应运而生了，它成为实现这个“大科学”目标的基础平台。 图 42 DataGrid的分布处理策略 DataGrid对海量数据的分解过程如图 42 [47]所示。粒子检测器产生的原始数据具有PB/s量级，经过在线系统过滤后，并经具有20万亿次处理能力的离线处理场的处理，最终以大约100MB/s的速率永久写入磁带，这个100MB/s 就是DataGrid真正需要处理的数据速率。CERN计算机中心负责将这些数据通过高速网络分配给欧洲、北美、日本等国的区域中心，后者再将任务作进一步分解，到物理学家的桌面时，数据量只有1MB/s，已经可以很方便地进行处理了。 DataGrid需要解决许多问题，诸如[46]： 1???????? DataGrid需要管理成千上万个处理器和磁盘、千万亿字节（PB）的数据和每秒万亿比特（Tb/s）的网络带宽，面对如此复杂的系统，如何才能保证它的高可扩展性、低成本和易管理性？ 2???????? 广域网的带宽只是局域网的1%－10%，不同的研究机构有不同的管理者和管理政策，如何保证数量要在它们之间安全地分发、复制、缓存并保持同步和完整性？ 3???????? 如果才能协调好不同国籍、不同研究机构的科学工作者的工作，使他们及时分析数据并汇总结果？ 这些问题解决好了，不仅对于在LHC上开展的实验是至关重要的，对于其他领域的研究也具有指导意义。可以这样说，虽然在高性能计算机、集群、网格等领域里美国一直处于领先地位，但欧洲的CERN所开创的大科学研究是美国难以望其项背的。 DataGrid的设计 DataGrid负责人Gaglia