01高性能集群解决方案系列(一)之问题初探.docxVIP

高性能集群解决方案系列(一)之问题初探2016-01-22随着科技与技术的进步，越来越多的生产或研发企业在产品设计与仿真工作上的投入与日剧增，这些投入不仅包括软件也包含硬件，他们的工作方式也从在单机上完成一个产品的设计过度到了同时使用多台机器协同工作来完成工作，在这种工作环境下设计人员在工作中的效率会更多的依赖多机器的协同调度效率和计算速度，那么企业内部的IT管理员为设计人员提供一整套运算速度快、调度效率高、稳定、安全可靠的企业级的高性能集群将成为必然。以此来帮助设计人员提高设计工作效率，加快产品设计的迭代速度，同时也为企业的发展助力。作为高性能集群管理员来说，要成功搭建一套适合自身企业发展的高性能集群需要了解很多知识，从硬件到软件再到调度系统，无一不具有挑战。因此在搭建之初需要充分了解未来可能会遇到的问题，并对这些问题做全面的分析、预见、总结，以为将来选择合适的解决方案提供帮助。下面就对高性能集群问题做一下基础性的总结分析：什么是高性能集群？高性能集群是用于完成高性能计算(High performance computing， 缩写HPC)，而将计算所需要的各种资源进行统一协调调度管理，并整合而成为一套对外提供高速计算服务的软硬件集合，它具有运算速度快、多任务、兼容性强、资源利用率高、使用简单等众多特点。高性能集群的常用术语有哪些？术语解释作业通常指在高性能集群中用于完成某一计算任务的单元，用户可以在此计算任务完成后得到想要的结果，并在需要时可以监控任务的计算过程。集群高性能集群用于提供作业运行的环境，应该包含完成作业运行所需要的所有条件。并行计算一般代表作业在计算运行的过程中，并非只存在一个序列化的计算过程，而是可以将其分成若干个子任务并同时运行在多个CPU上的计算方式。计算时间用于表示一个作业从开始计算任务到成功结束或出错退出所消耗的时间。LINPACK值用于反映一个集群环境搭建完成后的性能指标，通常使用专用工具进行测试。计算节点在集群中主要用于完成用户提交的计算任务的计算服务器。SMP节点提供作业运行所需要的大量资源的一种计算节点。此种节点服务于一类特殊的作业，此类作业需要大量的计算机资源象内存、?CPU等存在于一台计算机中。表1哪些企业工作需要高性能集群，哪类人员会用到？高性能集群一般用于完成人力无法实现或需要难以想象的工作量才能实现的工作。很多企业用于产品零部件设计的仿真以避免实验生产带来的巨大投入，用计算作业即可以验证设计是否正确或达到预想的设计目标，从而使用高性能集群来缩短设计周期，当然在有些情况这类仿真的工作只能用计算机来完成，靠人力是无法实现的。还有用于电子芯片设计或电路板设计，通过高性能集群来完成大量复杂的设计工作，这些工作的进行也必须依靠计算机辅助来完成，并通过高性能集群来获得稳定可靠的计算能力及时间要求。在业务模型分析计算的场景中，高性能集群同样也有它的用武之地，通常这些模型所需要的数据量和产生的数据量都是巨大的，需要计算机来帮助进行数据处理，并计算在不同条件下业务模型所产生的结果是否完善，从而借以帮助指导生产。在学校的教学科研中同样也发挥着很大作用，以辅助教师的教学和课题研究工作。高性能集群所应用的行业广泛，像航空、航天，军工制造、电子电路、天气气象、生物工程、、、、、、等等，同时涉及到计算机辅助设计与制造、数据统计分析等各行业工作都有可能需要高性能集群来帮助完成。高性能集群需要哪些资源？通常来说高性能集群内的资源主要包含（但不限于）以下所列内容：硬件资源：主要指进行任务计算的计算机服务器，包含?CPU、内存、GPU、本地硬盘等可参与任务计算的物理设备，以组成可进行运算的物理机器。网络资源：通常情况下为了达到高效的数据传输和保证计算速度，会将网络分为高性能集群自身管理所需要的网络，通常使用千兆或万兆网络用于集群自身的管理需要和数据收集，再使用另外一种更高速的网络（像IB网络）用于任务计算时进行数据交换，将管理网络与计算网络分开有助于提高集群的使用效率，不致于任务计算中产生的大量数据传输影响了集群管理和使用。应用软件资源：应用软件是基于整个高性能集群之上用于用户作业计算所使用的第三方专业的与行业相关的软件，像Fluent、Dyna、Start-ccm、workbench等商业软件都是属于此类。高性能集群会提供这些软件所需要的运行环境，并对这些软件计算任务进行调度管理。许可证资源：这是通常所说的应用软件的license资源，许可证资源也同样需要进行调度管理，因为在真实的运行环境下许可证的数量一定是有数量限制的。存储资源：高性能集群中产生的数据一般都会存储在单独的存储空间中。数据如何存放及管理是高性能集群建设之初需要考虑的一个重点，需要做好未来长期使用的规划，因为数据如何存放不仅会影响到高性能集群自身的后