.第3章Hadoop.PDFVIP

厦门大学计算机科学系研究生课程 《大数据技术基础》 第3 章Hadoop （2013年新版） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu 《大数据技术基础》 厦门大学计算机科学系厦门大学计算机系 林子雨 ziyulin@2013年新版 2013年9月修订版 提纲 • Hadoop概述 • Hadoop发展简史 • Hadoop的功能与作用 • 为什么不用关系型数据库管理系统 • Hadoop优点 • Hadoop的应用现状和发展趋势 • Hadoop项目及其结构 • Hadoop的体系结构 • Hadoop与分布式开发 • Hadoop应用案例 • Hadoop平台上的海量数据排序 本讲义PPT存在配套教材，由林子雨通过大量 阅读、收集、整理各种资料后编写而成 下载配套教材请访问 《大数据技术基础》2013 班级网站：/node/423 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop概述 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，它 实现了Map/Reduce 计算模型。借助于Hadoop，程序员可以轻松地编写分布 式并行程序，将其运行于计算机集群上，完成海量数据的计算。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop发展简史 • Hadoop起源于Apache Nutch，后者是一个开源的网络有哪些信誉好的足球投注网站引擎，本身也是由Lucene项目的 一部分。 • Nutch项目开始于2002年，一个可工作的抓取工具和有哪些信誉好的足球投注网站系统很快浮出水面。 • 2004年，Google发表了论文，向全世界介绍了MapReduce。 • 2005年初，Nutch的开发者在Nutch上有了一个可工作的MapReduce应用，到当年年中，所 有主要的Nutch算法被移植到使用MapReduce和NDFS来运行。 • Nutch中的NDFS和MapReduce实现的应用远不只是有哪些信誉好的足球投注网站领域。 • 在2006年2月，他们从Nutch转移出来成为一个独立的Lucene子项目，成为Hadoop。 • 在2008年2月，雅虎宣布其有哪些信誉好的足球投注网站引擎产品部署在一个拥有1万个内核的Hadoop集群上。 • 2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系统。运行在一个910节点的 群集，Hadoop在209秒内排序了1TB的数据（还不到三分半钟），击败了前一年的297秒冠 军。同年11月，谷歌在报告中生成，它的MapReduce实现执行1TB数据的排序只用了68秒。 在2009年5月，有报道宣称Yahoo 的团队使用Hadoop对1TB的数据进行排序只花了62秒时间。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop大事记 2004年——最初的版本（现在称为HDFS和MapReduce）由Doug Cutting和Mike Cafarella开始 实施。 2005年12月——Nutch移植到新的框架，Hadoop在20个节点上稳定运行。 2006年1月——Doug Cutting加入雅虎。 2006年2月——Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。 2006年2月——雅虎的网络计算团队采用Hadoop。 2006年4月——标准排序（10GB每个节点）在188个节点上运行47.9个