分布式并行计算之Hadoop应用.doc

分布式并行计算 摘要： 早先那种多线程，多任务分解的日志分析设计，其实是分布式计算的一个单机版缩略，如何将这种单机的工作分拆，变成集群工作协同，其实就是分布式计算框架设计所涉及的。具体的计算任务交由哪一台机器执行，执行后由谁来汇总，这都由分布式框架的Master来抉择，而使用者只需简单的将待分析内容的提供给分布式计算系统作为输入，就可以得到分布式计算后的结果。???? Hadoop是Apache开源组织的一个分布式计算开源框架，随着并行处理硬件性能的迅速提高，人们对并行算法的兴趣也日益增加。所谓并行算法是指一次可执行多个操作的算法。对并行算法的研究现在已发展为一个独立的研究领域。很多用串行算法解决的问题也已经有了相应的并行算法。 关键字：分布式；并行计；，Hadoop框架；MapReduce和HDFS Abstract: The earlier the kind of multi-threaded, multi-task decomposition of the log analysis and design, distributed computing is actually a stand-alone version of abbreviations, how to break this stand-alone work, collaborative work into clusters, in fact, the framework of distributed computing involved in the design. Specific computing tasks by which machine execution, who after the execution summary, this framework by the Master to distributed choice, the user simply content to be analyzed will be provided to the distributed computing system as the input to distributed computing can be the result.  Hadoop is an Apache open source open source distributed computing framework, with the performance of parallel processing hardware, the rapid improvement of people interested in the parallel algorithm is also increasing. The so-called parallel algorithm is an algorithm can perform multiple operations. Now the parallel algorithm has been developed as an independent field of study. A lot of problems with the serial algorithm has been a corresponding parallel algorithms. Keywords: distributed; parallel count;Hadoop framework; MapReduce and HDFS  1 Hadoop简介 ??? Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。Hadoop框架中最核心设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是任务的分解与结果的汇总。HDFS是Hadoop分布式文件系统的缩写，为分布式计算存储提供了底层支持。基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。 MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map, Reduce，Map（展开）就是将一个任务分解成为多个任务，Reduce就是将分解后多任务处理的结果汇总起来，得出最后的分析结果。这不是什么新思想，其实在前面提到了多线程，多任务的设计就可以找到这种思想的影子。不论是现实社会，还