【并行计算课件】稠密矩阵运算.ppt

现代密码学理论与实践之五 并 行 计 算 中国科学技术大学计算机科学与技术系 国家高性能计算中心(合肥) 2003年9月 第三篇 并行数值算法 第八章 基本通讯操作 第九章 稠密矩阵运算 第十章 线性方程组的求解 第十一章 快速傅里叶变换  第九章 稠密矩阵运算 9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法 9.4 矩阵乘法 9.1 矩阵的划分 9.1.1 带状划分 9.1.2 棋盘划分  带状划分 16×16阶矩阵，p=4 列块带状划分 行循环带状划分 带状划分 示例：p＝3，27× 27矩阵的3种带状划分 9.1 矩阵的划分 9.1.1 带状划分 9.1.2 棋盘划分  棋盘划分 8×8阶矩阵，p=16 块棋盘划分 循环棋盘划分 棋盘划分 示例：p＝4，16×16矩阵的3种棋盘划分 第九章 稠密矩阵运算 9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法 9.4 矩阵乘法 9.2 矩阵转置 9.2.1 棋盘划分的矩阵转置 9.2.2 带状划分的矩阵转置  棋盘划分的矩阵转置 网孔连接 情形1: p=n2。 通讯步 转置后 棋盘划分的矩阵转置 情形2: pn2。 - 划分: - 算法: ①按mesh连接进行块转置(不同处理器间) ②进行块内转置(同一处理器内) 通讯步 转置后 棋盘划分的矩阵转置 超立方连接 划分: 算法: ① ②对Aij递归应用①进行转置，直至分块矩阵的元素处于同一处理器； ③进行同一处理器的内部转置。 运行时间: 棋盘划分的矩阵转置 超立方连接：示例 9.2 矩阵转置 9.2.1 棋盘划分的矩阵转置 9.2.2 带状划分的矩阵转置  带状划分的矩阵转置 划分: An×n分成p个(n/p)×n大小的带 算法: ①Pi有p-1个(n/p)×(n/p)大小子块发送到另外p-1个处理器中; ②每个处理器本地交换相应的元素 第九章 稠密矩阵运算 9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法 9.4 矩阵乘法 9.3 矩阵-向量乘法 9.3.1 带状划分的矩阵-向量乘法 9.3.2 棋盘划分的矩阵-向量乘法  带状划分的矩阵-向量乘法 划分(行带状划分): Pi存放xi和ai,0,ai,1,…,ai,n-1, 并输出yi 算法: 对p=n情形 ①每个Pi向其他处理器播送xi(多到多播送)； ②每个Pi计算； 注: 对pn情形,算法中Pi要播送X中相应的n/p个分量 (1)超立方连接的计算时间 (2)网孔连接的计算时间 带状划分的矩阵-向量乘法 示例 9.3 矩阵-向量乘法 9.3.1 带状划分的矩阵-向量乘法 9.3.2 棋盘划分的矩阵-向量乘法  棋盘划分的矩阵-向量乘法 划分(块棋盘划分): Pij存放ai,j, xi置入Pi,i中 算法: 对p=n2情形 ①每个Pi,i向Pj,i播送xi(一到多播送)； ②按行方向进行乘-加与积累运算，最后一列Pi,n-1收集的结果为yi； 注: 对pn2情形,p个处理器排成 的二维网孔， 算法中Pi,i向Pj,i播送X中相应的 个分量 (1)网孔连接的计算时间Tp(CT): .X中相应分量置入Pi,i的通讯时间: .按列一到多播送时间: .按行单点积累的时间: 棋盘划分的矩阵-向量乘法 示例 带状与棋盘划