Chapter15-厦门大学-林子雨-大数据技术介绍原理与应用-第十五章-Hadoop架构再探讨(2016年4月13日版本).ppt

;课堂内容与教材对应关系说明;课堂内容与教材对应关系说明;;中国高校大数据课程公共服务平台;提纲;15.1Hadoop的优化与发展;15.1.2针对Hadoop的改进与提升;15.1.2针对Hadoop的改进与提升;15.2HDFS2.0的新特性;15.2.1HDFS HA;15.2.1HDFS HA;15.2.1HDFS HA;15.2.2HDFS Federation;15.2.2HDFS Federation;15.2.2HDFS Federation;15.3新一代资源管理调度框架YARN;15.3.1 MapReduce1.0的缺陷;15.3.2 YARN设计思路;15.3.3 YARN体系结构;15.3.3 YARN体系结构;15.3.3 YARN体系结构;15.3.3 YARN体系结构;15.3.3 YARN体系结构;15.3.4 YARN工作流程;15.3.5YARN框架与MapReduce1.0框架的对比分析;15.3.6 YARN的发展目标;15.3.6 YARN的发展目标;15.4Hadoop生态系统中具有代表性的功能组件;15.4.1Pig;15.4.1Pig;15.4.1Pig;1 visits = load ‘/data/visits’ as (user, url, time); 2 gVisits = group visits by url; 3 visitCounts = foreach gVisits generate url, count(visits); //得到的表的结构visitCounts(url,visits) 4 urlInfo = load ‘/data/urlInfo’ as (url, category, pRank); 5 visitCounts = join visitCounts by url, urlInfo by url; //得到的连接结果表的结构visitCounts(url,visits,category,pRank) 6 gCategories = group visitCounts by category; 7 topUrls = foreach gCategories generate top(visitCounts,10); 8 store topUrls into ‘/data/topUrls’;;15.4.1Pig;15.4.2Tez;15.4.2Tez;15.4.2Tez;15.4.2Tez;15.4.3Spark;15.4.4Kafka;附录：主讲教师林子雨简介;附录：《大数据技术原理与应用》教材;附录：中国高校大数据课程公共服务平台;