高性能MapReduce系统的优化.pdfVIP

第1章绪论 第1章绪论 本章概要 本章给出了整个论文的主要内容。首先，介绍TJL种典型的并行编程模 型以及MapRuduce模型的优势所在。接下来介绍了HPMR系统的整体结构以及执行 流程。最后给出了本文工作和章：I『了安排。 1．1传统并行编程模型以及Mapreduce并行模型 1．1．1并行计算机体系结构 高性能计算需要硬件和软件两方面的支持。硬件方面就是高性能计算机， Top500中接近三分之二的超级计算机，其它也主要集中在英、德、法、同等发 达国家。中国在这方面的研发上起步较晚，从20世纪90年代以来，“银河”、 “曙光’’和“深腾”等国产高性能计算机的相继问世，才标志着我国在高性能 计算机的制造方面已经在世界上中占有一席之地。 Instruction MultipleData)；对称多处理机SMP(SymmetricMultiprocessor)；并行 Vector 向量处理机PVP(Parallel Parallel of Processor)；机群COW(ClusterWorkstations)和分布共享存储 Shared DSM(DistributedMemory)多处理机。 集群(Cluster)是一组独立计算机的集合，其结构特点为：各结点均为完整 的计算机系统、结点可以是服务器、工作站；网络接口与结点的I／O总线松散 耦合；各结点有本地磁盘；各结点有独立的操作系统；互联网络通常采用商用 网络，如以太网、Infinband等；集群中各个结点作为一个整体进行工作，从而 提高了可用性，也增强了整体性能；单个结点故障不会导致集群瘫痪。 多核体系结构可以近似看作一个紧耦合的SMP，它拥有一个所有核都可以 访问的全局物理内存。多核集群是混合式存储体系结构，同时具有分布式存储 和共享存储的两种体系的性质。 以多核集群为主流架构的超级高性能计算机已经成为高性能计算最主要的 硬件平台。但硬件只是一个基础，如果没有软件的支持，高性能计算机仍旧无 用武之地。所以高性能计算机的推广的必要条件是，程序员必须学会在高性能 计算机上进行高效并行软件的开发。而这则需要程序员在良好并行编程模型的 一1一 第1章绪论 支持下编写并行程序。 1．1．2传统并行编程模型 编程模型【Berkeley,08]是对底层硬件平台体系结构的一种高层抽象，是系 统开发者提供给应用程序开发程序员的接口。当程序员选择一种编程模型时， 必须能够在这种编程模型下可以考虑到程序的执行效率和编程代价之间的折衷 关系。而并行编程模型则是并行算法和并行计算机硬件体系结构之间的连接桥 梁，它以并行编程接口的形式提供给程序员，程序员通过并行编程接口编写并 行程序，实现并行算法。 并行编程模型可分为：数据并行模型、消息传递模型、共享存储模型。表 1．1对这三种并行编程模型进行了比较。 表1．1三种并行编程模型主要特征对比 特征 数据并行 消息传递 共享存储 典型代表 HPF MPI、PVM OpenMP 适用体系结构 SMP、DSM、MPP所有流行的并行机 SMP、DSM 控制流 单线程 多进程 多线程 数据存储方式 共享存储 分布式存储 共享存储 数据分配方式 隐式 显式 隐式 从表1．1可以看出，消息传递模型的程序可移植性很好，但编程难度系数 大于数据并行和共享存储这两种编程模型；共享存储模型的程序只适用于SMP 和DSM并行机，可移植性逊色于消息传递模型的程序，但编程简单。 数据并行模型【陈国良，041的主要特点是把一