第二篇并行算法的设计第四章并行算法的设计.ppt

现代密码学理论与实践之五 第二篇 并行算法的设计 第四章 并行算法的设计基础 第五章 并行算法的一般设计策略 第六章 并行算法的基本设计技术 第七章 并行算法的一般设计过程 主要教学内容和考核要点 主要内容： 本章主要介绍并行算法中的并行计算模型，包括同步PRAM模型、异步APRAM模型、大同步BSP模型、异步Logp模型。 教学和考核要点： 并行计算模型(PRAM，APRAM，BSP，Logp)。 第四章 并行算法的设计基础 4.1 并行算法的基础知识 4.2 并行计算模型 4.1 并行算法的基础知识 4.1.1 并行算法的定义和分类 4.1.2 并行算法的表达 4.1.3 并行算法的复杂性度量 4.1.4 并行算法中的同步和通讯 并行算法的定义和分类 并行算法的定义 算法 并行算法：一些可同时执行的诸进程的集合，这些进程互相作用和协调动作从而达到给定问题的求解。 并行算法的分类 数值计算和非数值计算 同步算法和异步算法 分布算法 确定算法和随机算法 4.1 并行算法的基础知识 4.1.1 并行算法的定义和分类 4.1.2 并行算法的表达 4.1.3 并行算法的复杂性度量 4.1.4 并行算法中的同步和通讯 并行算法的表达 描述语言 可以使用类Algol、类Pascal等； 在描述语言中引入并行语句。 并行语句示例 Par-do语句 for i=1 to n par-do …… end for for all语句 for all Pi, where 0≤i≤k …… end for 4.1 并行算法的基础知识 4.1.1 并行算法的定义和分类 4.1.2 并行算法的表达 4.1.3 并行算法的复杂性度量 4.1.4 并行算法中的同步和通讯 复杂度定义 数学基础： Big Oh Omega Theta Little Oh Growth Rate We Compare functions by comparing their relative rates of growth. 1000n vs. n2 定义 T(n) = O(f(n)) The growth rate of T(n) = growth rate of f(n) T(n) = W (g(n)) The growth rate of T(n) = growth rate of g(n) T(n) = Q(h(n)) The growth rate of T(n) = growth rate of h(n) T(n) = O(p(n)) The growth rate of T(n) = growth rate of p(n) 并行算法的复杂性度量 串行算法的复杂性度量 最坏情况下的复杂度(Worst-CASE Complexity) 期望复杂度(Expected Complexity) 并行算法的几个复杂性度量指标 运行时间t(n):包含计算时间和通讯时间，分别用计算时间步和选路时间步作单位。n为问题实例的输入规模。 处理器数p(n) 并行算法成本c(n): c(n)=t(n)p(n) 总运算量W(n): 并行算法求解问题时所完成的总的操作步数。 并行算法的复杂性度量 Brent定理 令W(n)是某并行算法A在运行时间T(n)内所执行的运算 量，则A使用p台处理器可在t(n)=O(W(n)/p+T(n))时间 内执行完毕。 W(n)和c(n)密切相关 P=O(W(n)/T(n))时，W(n)和c(n)两者是渐进一致的 对于任意的p，c(n)?W(n) 4.1 并行算法的基础知识 4.1.1 并行算法的定义和分类 4.1.2 并行算法的表达 4.1.3 并行算法的复杂性度量 4.1.4 并行算法中的同步和通讯 并行算法的同步 同步概念 同步是在时间上强使各执行进程在某一点必须互相等待； 可用软件、硬件和固件的办法来实现。 同步语句示例 算法4.1 共享存储多处理器上求和算法 输入：A=(a0,…,an-1),处理器数p 输出：S=Σai Begin (1)S=0