三维FDTD算法的MPI实现及分析.pdf

34 《高性能计算发展与应用》 2013年第一期 总第四十二期 三维FDTD算法的MPI实现及分析  徐 上海超级计算中心磊 上海201203 lxu@ssc.net.cn 摘要： 本文描述了FDTD算法的基本理论与具体流程，分析了FDTD算法的通讯模式以及实现方 法，在“魔方平台”进行了FDTD程序的大规模测试，取得了85.12%的并行效率。 关键词：FDTD，并行，魔方 1.引言 230Tflops，计算节点包含25824核，内存容量超 CPU 当前，电磁波理论的研究已经深入到了移动通 过100TB，本文在“魔方”上开展大规模的FDTD计 讯、卫星通讯、雷达技术、电磁成像等众多关键领 算模拟，并研究应用在“魔方”平台的性能优化。 域。电磁波在实际环境中的传播过程非常的复杂， 例如各种复杂目标的散射，复杂结构天线的辐射等。 2. FDTD算法简介 [1] 电磁波的传播都遵循James Clerk Maxwell在1873 三维的电磁场Maxwell旋度方程 可以写成： 年提出的Maxwell旋度方程组，该方程组将电场和磁 场有机的联系在了一起。 时域有限差分（FDTD）算法是K.S.Yee于1966年 提出的、直接对Maxwell旋度方程作差分处理、来解 该方程的标量形式可以写为如下六个方程： 决电磁脉冲在电磁介质中传播和反射问题的算法。 该算法的基本思想是：空间节点采用Yee元胞的方 法，电场和磁场节点空间与时间上都采用交错抽 样，因而使得Maxwell旋度方程离散后构成显式差分 方程，相比较与前面的波动方程求解，计算得到大 大简化。由于FDTD采用吸收边界条件的方法，使得 计算可以在有限的空间范围内进行，这样就可以降 低程序对计算机硬件的要求。 FDTD算法由于其数学上的简洁性以及方便易用 的特点在电磁场辐射和散射以及电磁兼容等广泛领 使用差分近似公式，将上述六个标量方程中的 域取得了成功。随着对计算结果要求的不断提高， 各电磁场分量在空间和时间上离散，K.S.Yee将空间 FDTD算法进行电磁模拟所所需要的计算时间更长， 按立方体分割(Yee网格)，并把电磁场的六个分量配 对内存的需求量也变得更大，使用单个PC或计算服 置在网格的特殊位置上。如图1所示，电场分量位于 务器已经无法处理电大尺寸目标电磁散射问题。近 网格棱边中心并且平行于棱边，每个电场分量环绕 年，基于集群架构的高性能计算机系统发展迅速， 有四个磁场分量；磁场分量位于网格面中心并且垂 大型的计算集群为使用MPI的FDTD算法模拟更大的 直于这个面，每个磁场分量环绕有四个电场分量。 电磁问题提供了平台。 电场和磁场分量在任何方向上始终相差半个网格步 本文的主要目的就是在上海超级计算中心“魔 长，电磁场通过电场和磁场的耦合传播。在时间离 方”超级计算机平台实现基于UPML吸收边界条件 散上，K.S.Yee将电场分量与磁场分量相互错开半个 的三维FDTD电磁数值模拟。“魔方”超级计算机