Hadoop大数据系统理论与实践.docVIP

中国管理科学研究院人才战略研究所 人才所[2015]第（06）号 “Hadoop 大数据系统理论与实践”高级培训班通知 一、培训特色 当前，我国已经进入大数据时代，在这样的时代背景下，Hadoop 的应用也逐渐深入，正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。目前Hadoop 应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域，随着Hadoop 技术的不断成熟以及生态系统相关产品的完善，包括Hadoop 对SQL 不断加强的支持，以及主流商业软件厂商对Hadoop 支持的不断增强，必定会带动Hadoop 渗透到越来越多的应用场景中。 2014 年是中国大数据的应用落地年，越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中，最受关注的是衍生于开源平台的Hadoop 生态系统。Hadoop 从2006 年诞生至今已经超8 年时间。2014 年，整个生态系统变得比以往更加丰富，无论是在开源领域，商业软件厂商或是硬件厂商，都开始推出基于Hadoop 的相关产品。Hadoop 之所以受到如此的关注，主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析，在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。中国管理科学研究院人才战略研究所特举办“hadoop大数据系统理论与实践”高级培训班;并由盛科博文（北京）文化发展有限公司具体承办。 本课程将分别从理论基础知识，系统搭建以及应用案例三方面对Hadoop 进行介绍。 本课程采用循序渐进的课程讲授方法，首先讲解Hadoop 系统基础知识，概念及架构，之后讲解Hadoop 实战技巧，最后详尽地介绍Hadoop 经典案例，使培训者从概念到实战，均会有收获和提高。 二、 目标收益 本课程将为大家全面而又深入的介绍Hadoop 平台的构建流程，涉及Hadoop 系统基础知识，概念及架构， Hadoop 实战技巧，Hadoop 经典案例等。 通过本课程实践，帮助学员对Hadoop 生态系统有一个清晰明了的认识；理解Hadoop 系统适用的场景；掌握Hadoop 等初 中级应用开发技能；搭建稳定可靠的Hadoop 集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例。 三、时间地点 2015年4月24日——2015年4月27日 北京 （第一天报到，授课三天） 四、培训对象 各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。 主办单位： 承办单位： 中国管理科学研究院人才战略研究所 盛科博文（北京）文化发展有限公司 2015年03月20日 2015年03月20日 五、培训内容 主题 授课内容 第一天 (大数据架 构基础) 大数据架构概述 1. 大数据层级结构 介绍大数据系统基本架构与流程 2. Hadoop 生态系统概述以及版本演化 概要介绍Hadoop 生态系统及其版本演化历史，并给出hadoop 版本选择建议。 3. Spark 生态系统概述 概要介绍Spark 生态系统及其特点，并与Hadoop 对比 数据收集系统 Flume 与Sqoop 介绍如何使用flume 和sqoop 两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle 等）中的数据导入Hadoop 中进行分析和挖掘 Hadoop 环境搭 建（上机操作） 设计搭建搭建HDFS, MapReduce 和YARN 等系统的环境 第二天 (分布式存 储和资源管 理) 大数据存储系统 HDFS 与HBase 1. HDFS 2.0 原理、特性与基本架构 理论：介绍HDFS 2