大规模并行程序调试及优化—方法、工具及实践.pdf

大规模并行程序调试及优化 ——方法、工具及实践 姚继锋 博士 中国科学院软件研究所 中科嘉速（北京）并行软件有限公司 2013.03.15 北京 天才的程序员 ¨  中国第一个女程序员 ¨  我国第一颗人造卫星地 面追踪程序的作者 ¨  以一次通过、零Bug的 惊人编程能力为人乐道 ¨  可望而不可及 张绮霞研究员 中科院计算中心，中科院软件所 串行程序设计 问题 应用 设计算法 选择语言、工具实现 软件设计 调试、优化 硬件 并行程序设计 问题 应用 紧耦合 松耦合 易并行 并行应用的分类模型 软件设计 MS、Pipeline、WP、SYN、DC 并行编程的范例 设计并行算法 考虑同步、 负载平衡和终止检测 选择语言、工具实现 调试、优化 SM DM DSM 并行机体系结构 SMP PVP MPP Cluster DSM 物理机模型 硬件 课题研究思路和技术路线 数学物 原始 并行算 并行软 程序性 软件 理模型 代码 法设计 件实现 能优化 应用 从串行到并行设计… ¨  多了一些事情 ¤  分析应用的分类 ¤  选择并行程序的范例 ¤  选择并行机体系结构和物理机模型 ¤  考虑同步、负载平衡和终止检测 ¨  有些事情变困难了 ¤  算法的设计 ¤  语言和工具的选择 ¤  程序调试和性能评估 并行程序调试的困难 ¨  错误可能出现在任意一个进程 ¨  错误可能与并行规模数相关 ¨  错误可能与运行环境相关 ¨  错误可能与通讯相关 ¨  如果调试4个进程不是问题 ，40个 ，4000个呢？ 大规模并行调试的挑战 •  计算规模增大导致的新问题 –  海量数据导致的数据错误 – 如Garbage in garbage out, 溢值 –  逻辑以及控制流 –  增大的独立随机错误可能 •  内存错误/耗尽 – “随机” 错误 •  系统问题 – MPI ，操作系统 –  挑战编程极限，算法（可靠性、稳定性、高性能） –  其他未知问题…… •  袁国兴老师多次报告九所超大规模计算的经验和体会 应对方法 •  改进的编程规范 –  良好的编程习惯，开发组内统⼀的开发规范 –  单元测试, 断言