南开大学cluster组建教程.pdf

计算化学 集群构建教程 张鋆 编 前 言 本教程的目的是为读者提供计算机集群组建及其在计算化学中的应用的入 门知识。我们将先讲一些基本概念，然后以最快的速度进入实践阶段，使大家能 够在最短的时间内迅速建立起一个可以从事高性能计算的集群。 本教程的主要内容是以普通的高端PC ，服务器，千兆网等多数实验室所能 负担的起的硬件为基础，介绍如何构建一个具有完整文件共享，并行计算和作业 排队与调度功能的高性能计算机集群。这个教程，可以为从来没有组装过集群的 读者提供一些入门的知识，从而可以在组内构建自己的集群而免去在别的地方 “交钱”“排队”的苦恼。 有人会问：自己组建的集群和付费购买机时的集群会不会性能有很大差异？ 这个严格来说取决于读者研究的体系。从单机计算的能力来看，高端PC 已经和 最好的单机相差不大，而并行方面，由于专业机构有高水平的优化工程师和性能 卓越的网络硬件（当然这一切是以高成本为代价的），普通的研究组一般难以到 达它们的水平。但是，对于计算化学科研领域，大多数组需要计算的体系，即使 是很大蛋白质的长时间动力学（如100000 原子的10ns 动力学这种任务），借助 本教程里面的技术，即MPI 并行+GPU 加速+ 自行编译，有两台 8 核CPU 高端 PC ，就基本可以在10 天以内完成。因此，作者认为没有必要再去追逐更昂贵的 硬件。毕竟，科研的灵魂是idea，而不是比谁的体系大，谁的速度快。当然，对 于特别的领域，如神经系统蛋白质的模拟，需要512CPU 并行的，本教程里的技 术就略显不足了，不过依然可以作为一个入门来介绍。 本教程选取的软件技术如 Debian ，Torque，NFS 等都是比较简单而实用的 软件，都经过作者测试。这些东西足以满足大多数要求，而且网上的文章也很多， 遇到错误便于随时查阅。专业大型集群的技术则更加高级，如我们使用NFS 来 共享同步文件，而大型集群则会建立专门的“升级服务器”等来实现。这些技术 读者如有兴趣可以参考这方面的资料。 在本教程的第三章还介绍了一些软件安装，编译和编程环境的设置的知识。 一些计算化学的初学者常常面对软件的编译无从下手（如某人曾经半年也没编译 出SAPT2008 来）。本来作者想将编译过的全部软件介绍一下，但是这样会使本 教程变为一个无聊的软件集锦。所以这一章以 Gaussian，NAMD ，Autodock 和 MKL 为例，分别介绍了四个类型的计算化学软件的配置技术。通过这四个软件 的配置的练习，再面对新的软件，读者就应该有足够的经验来应对了。如果还有 困难，可以参考网上的文章，如作者的博客：/coolrainbow/home 。 本书并没有专门介绍Linux ，NIS ，NFS 系统或者Torque，Maui 软件的知识， 读者可以参考相应的教材或者网上的资料，最重要的则是软件本身的文档，这个 非常重要！ 这个文档最早写成于2009 年5 月，曾在小范围内传播过。后来在2010 年左 右因集群升级，添加了一些新技术。在2011 年5 月时再次重新整理并定稿。希 望这个教程能够为读者提供一些帮助！如果读者在教程中发现了错误并对作者进 行指正，作者将不胜荣幸！ 作者：张鋆，南开大学(coolrainbow@) 2011 年5 月29 日 目 录 第一章 绪论 1 §1.1 计算机集群的基本概念 1 §1.2 计算机集群的软件结构4 第二章 集群的系统配置7 §2.1 操作系统的安装7 §2.2 网络通信系统的建立9 §2.2.1 SSH：主机间无密码的远程登录 10 §2.2.2 NFS：主机间的文件共享 11 §2.2.3 NIS：主机间的用户同步 13 §2.