[文学]2_并行计算基础.ppt

  1. 1、本文档共111页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
[文学]2_并行计算基础

* 串行程序性能优化 循环展开。 展开后的代码: for (i=0; i100; i+=4) { C[i] = 5*A[i] + B[i]; C[i+1] = 5*A[i+1] + B[i+1]; C[i+2] = 5*A[i+2] + B[i+2]; C[i+3] = 5*A[i+3] + B[i+3]; } 暴露出了更多的可同时执行的操作。 * 串行程序性能优化 运算顺序的调整。 通常的算法设计和程序实现中,人们习惯在需要某数据的地方才计算出该数据的值,紧接着使用该数据。 这是很自然的思维习惯,但对于流水线则会造成麻烦。 两个运算相继进行,但后一个运算需要的操作数还没有被计算出来,只有原地等待,造成了流水线的停滞。 * 串行程序性能优化 运算顺序的调整。 例:求一系列数的平方的倒数的操作。 b[0]=a[0]*a[0]; c[0]=1/b[0]; b[1]=a[1]*a[1]; c[1]=1/b[1]; b[2]=a[2]*a[2]; c[2]=1/b[2]; …… 虽然因为c[0]紧接着b[0]计算,让计算的内在含义更明显,也更符合通常的思维习惯,但对于流水线来说效率极差。 b[0]=a[0]*a[0]; b[1]=a[1]*a[1]; b[2]=a[2]*a[2]; …… c[0]=1/b[0]; c[1]=1/b[1]; c[2]=1/b[2]; …… 先把数组b[]计算出来,然后再计算数组c[],此时,需要的b[]数组中的数据都已经计算出来了,就不会存在流水线停滞的问题。 * 程序性能优化 并行程序性能优化 减少通信量、提高通信粒度 全局通信尽量利用高效集合通信算法 挖掘算法的并行度,减少CPU空闲等待 负载平衡 通信、计算的重叠 通过引入重复计算来减少通信,即以计算换通信 * 2.8 常用并行数值算法 在科学与工程计算的许多问题中经常需要进行矩阵计算。矩阵乘、求解线性方程组和矩阵特征值问题是矩阵计算最基本的内核。 假设算法针对的是一台有p个处理机的并行系统,每个处理机上运行一个进程,Pj表示第j个处理机或进程,Pmyid表示当前的处理机或进程,send(x,j)和recv(x,j)分别表示在Pmyid中把x传送到Pj和从Pj中接收x,此外,用i mod p表示i对p取模运算。 * 常用并行数值算法 在矩阵并行计算中,另一个非常重要的问题是矩阵在处理机中的存放方式。通常采用的是矩阵在处理机阵列按卷帘方式存放。设分块矩阵是8×8,处理机阵列是3×2,则矩阵的存放方式如下: * 2.8.1 常用并行数值算法——并行矩阵乘法 j i A B C * 2.8.1 常用并行数值算法——并行矩阵乘法 C=AB 串行矩阵乘法 串行矩阵乘积子程序(i-j-k形式) DO I = 1, M DO J = 1, L DO K = 1, N C(I,J) = C(I,J) + A(I,K) * B(K,J) ENDDO ENDDO ENDDO 串行矩阵乘积子程序(j-k-i形式) DO J = 1, L DO K = 1, N DO I = 1, M C(I,0) = C(I,0) + A(I,0) * B(0,0) ENDDO ENDDO ENDDO * 常用并行划分 列块带状划分 行循环带状划分 * 常用并行划分--2 块棋盘划分 循环棋盘划分 * 常用并行数值算法——行列划分算法 数据结构:Ci,j和Ai ,Bj存放在Pi中(j=0,1,2,…p-1) Ci,j的计算是按对角线进行的 p个处理机,一维结构,每次每个处理机计算出一个Ci,j 计算C需要p次来完成。 T T * 常用并行数值算法——行行划分算法 T T T T 数据结构:Ci,j和Ai ,Bj存放在Pi中(j=0,1,2,…p-1) Ci,j的计

文档评论(0)

qiwqpu54 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档