《Hadoop核心技术》教学大纲.docx

《Hadoop核心技术》教学大纲

课程编号英文名称：HadoopCoreTechnology

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：高级语言、面向对象程序设计

课程类别：专业方向课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第5学期

一、课程描述和目标

简要说明课程在实现专业人才培养目标中的地位、作用，以及课程基本内容等。

本课程拟达到的课程目标:阐明本课程在人才培养过程中的地位及作用，明确学生学习本课程后在知识、能力及素质发展等方面应达到的目标。

课程目标1：明确本课程对用计算机相关领域的复杂工程问题的作用；掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解。

课程目标2：能对复杂工程问题进行深入研究的能力，根据实际复杂工程问题能选择合适的Hadoop工具，并在此基础上掌握对这些Hadoop工具的操作技术。对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。

二、课程目标对毕业要求的支撑关系

毕业要求指标点

课程目标

权重

3-1：能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。

课程目标1

H

3-3：针对大数据系统工程问题，能够在理解复杂工程问题的基础上定义功能、目标和限制，并设计开发复杂工程问题的解决方案。

课程目标2

M

三、教学内容、基本要求与学时分配

序号

教学内容

基本要求及重、难点（含德育要求）

学时

教学方式

对应课程目标

1

初识Hadoop

了解什么是大数据及其特征、熟悉大数据的典型应用、了解Hadoop的发展历史及其版本、掌握Hadoop的生态体系。

2

讲授式

讨论式

课程目标1

2

构建Hadoop集群

了解虚拟机的安装和克隆、熟悉Linux系统的网络配置和SSH配置、掌握Hadoop集群的搭建和配置、掌握Hadoop集群测试、熟悉Hadoop集群初体验的操作。

2

讲授式

启发式

探究式

讨论式

练习式

课程目标1

3

HDFS分布式文件系统

了解HDFS演变、掌握HDFS特点、掌握HDFS的架构和原理、掌握HDFS的Shell和JavaApi操作。

2

讲授式

启发式

探究式

讨论式

练习式

课程目标1

4

MapReduce分布式计算系统

理解MapReduce的核心思想、掌握MapReduce的编程模型、掌握MapReduce的工作原理、掌握MapReduce常见编程组件的使用。

2

讲授式

讨论式

练习式

课程目标1

5

Zookeeper分布式协调服务

了解Zookeeper的概念和特性、理解Zookeeper数据模型、掌握Zookeeper的Watch机制和选举机制、掌握Zookeeper的集群部署、掌握Zookeeper的Shell操作和JavaAPI操作、熟悉Zookeeper的应用场景。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

6

Hadoop2.0新特性

掌握YARN的体系结构和工作流程、掌握HDFS的高可用架构、会搭建Hadoop高可用集群。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

7

Hive数据仓库

了解Hive的相关功能和特点、熟悉Hive的简单安装和配置、掌握HiveQL的相关操作。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

8

Flume日志采集系统

了解Flume的作用、熟悉Flume的运行机制、掌握Flume的安装部署、熟悉Flume的可靠性保证。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

9

Azkaban工作流管理器

了解Azkaban的结构、掌握Azkaban的部署、熟悉Azkaban的基本使用。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

10

Sqoop数据迁移

了解Sqoop基本概念、掌握Sqoop安装配置、熟悉Sqoop常用的相关指令、掌握使用Sqoop进行导入导出。

4

讲授式

启发式

探究式

讨论式

练习式

课程目标2

合计

32

序号

实验项目

实验内容与要求

学时

类型

对应课程目标

1

MapReduce经典案例——倒排索引

介绍倒排索引的定义和作用、分析案例的需求、通过代码实现倒排索引功能。（必修）

10

设计

课程目标1

2

Flume日志采集的编写

服务系统的搭建与配置、配置采集方案、日东日志收集系统、日志采集系统的测试与验证。（必修）

10

设计

课程目标2

3

综合项目——网站流量日志数据分析系统

掌握网站流量日志数据分析系统的业务流程的前提下，具备独立分