NCHCPCCluster效能分析及丛集管理与应用软体发展-NPUCSIE.doc

PC Cluster上叢集及工作管理軟體之發展 黃國展 陳 敏 周朝宜 張西亞 國家高速電腦中心 E-mail: {c00kch00, a00min00, b00cyc00, c00jhc00}@.tw 摘 要 本篇論文主要描述國家高速電腦中心PC cluster計畫正在發展的一套叢集及工作管理軟體Cmeta。論文內容涵蓋PC cluster 介紹、效能分析、Cmeta架構與功能描述、及對叢集分割與排程相關問題的探討等。本篇論文的內容將可提供有興趣嘗試以PC cluster作為高效能計算平台的使用者有用的資訊，: PC cluster、叢集及工作管理軟體、叢集分割、工作排程、高效能計算 NCHC PC Cluster PC cluster 的起源，是科學與工程應用領域的研究人員為了進行大量的計算及資料處理，利用廉價的COTS零組件，自行動手組裝硬體、軟體及網路而成的平行計算系統，因此而得名為DIY超級電腦。PC cluster 的歷史雖短，進展卻相當快速，它們展現的效能與經濟性，吸引了一批又一批的研發人員，陸續地將現有的或是新購的 PC 串連起來，使得PC clusters 在世界各地如火如荼地推展開來。時至今日，連一些傳統上製造超級電腦的大型硬體廠商，也陸續推出許多PC cluster系列的產品線。近來更有廠商採用Compact-PCI的技術開發出所謂的刀鋒伺服器(blade server)，具備維護容易、高可靠度、高密度等特點，原本一台PC主機大小的空間內現在可放入十數片或數十片blade擴充卡，每片卡的功能類似於原本一台PC，也就是說原本一台PC的空間，現在變成了一組PC cluster。 國科會國家高速電腦中心為因應國內各界對PC cluster與日俱增的興趣和需求，於1999年起積極地投入此領域之研究發展[1,2]。我們在1999年一月成功地架設了一組PC cluster，接著進行了一連串的標準程式及應用程式的效能測試，以比較PC cluster與其他平台之間效能上的差異，並於2000年夏季擴充32顆CPUs，成為一組具64顆CPUs的個人電腦叢集，接著在2001再次新增一64個CPUs的叢集並汰換掉部分(32個CPUs)舊的叢集。目前叢集(見圖一)的系統架構如圖二所示。其中一個子叢集由32個AMD Athlon 750 MHz的CPU所組成，另一子叢集有64個AMD Athlon 1.33 GHz的CPU。 100 Mb/s 的Fast Ethernet連接起來，其中24個AMD Athlon 1.33 GHz 節點另外還配有2.0 Gb/s的Myrinet，作為實驗高速網路效能的平台。 圖一: NCHC PC clusters 圖二: NCHC PC cluster架構圖 本中心PC cluster所使用的作業系統是 Red Hat Linux [3]。程式語言編譯器包括: GNU C、C++、Fortran 77 編譯器、以及 PGI C、C++、Fortran 77、Fortran 90、及HPF 編譯器 [4]。供撰寫平行程式之用的訊息傳遞程式庫 (message passing library) 有 MPI [5]、PVM [6]、及BSP [7]。cluster上之前使用美國佛羅里達州立大學超級電腦計算研究中心 (SCRI) 所發展的分散式貯列系統 DQS [8] 作為工作排程及管理之用，將來以使用我們自行發展的Cmeta系統為主。 PC Cluster 效能分析 圖三顯示由於PC CPU技術的快速演進，目前其計算速度，不論是在整數運算或是浮點數運算，都已有著不遜於大型電腦 CPU 速度的表現。技術的快速演進正是PC cluster 的優點以及它受歡迎的原因之一。 圖三: SPEC 2000 CPU 測試程式集之效能比較 在主記憶體系統方面，根據表一及圖四，可以看出這幾年來伴隨著PC CPU及記憶體系統技術的進步所產生的記憶體存取效能改進。從Pentium II 400 MHz CPU搭配PC-100 SDRAM時遠遜於大型電腦效能的情形，演變成今日以AMD 1.33 GHz CPU 搭配 DDR 記憶體所呈現出可與大型電腦系統匹敵的效能，短短兩三年期間有著相當大幅度的進步。 表一：SREAM 評估程式中的運算型態 NAME kernel Byte/iteration FLOPS/iteration COPY a(i) = b(i) 16 0 SCALE a(i) = q*b(i) 16 1 SUM a(i) = b(i) + c(i) 24 2 TRIAD a(i) = b(i) + q*c(i) 24 2 圖四: STREAM 評估程式效能比較 NAS Parallel Bench