《大数据平台核心技术》课程教学大纲.docx

《大数据平台核心技术》教学大纲

课程编号英文名称：CoreTechnologyOfBigDataPlatform

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：程序设计、Hadoop核心技术

课程类别：专业拓展课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第6学期

一、课程描述和目标

大数据平台核心技术主要针对数据科学与大数据技术、计算机科学与技术、电子信息等专业学生，是数据科学与大数据技术专业的专业拓展性课程，它担负着系统、全面地理解大数据，提高大数据应用技能的重任。主要讲解大数据平台涉及到的大数据构架、数据采集、数据存储、数据分析、数据可视化等内容，并通过实践力图覆盖大数据处理平台的主要核心技术，帮助学生了解大数据平台设计中的关键挑战，提出实际的解决方案，为学生未来就业及研究方向提供参考。通过本课程教学，使学生对大数据平台涉及的核心技术有一个全面的了解，掌握基本的大数据采集、存储和分析方法，并且具备一定对具体实际问题的处理能力。

本课程拟达到的课程目标:通过本课程的学习，让学生接触并了解大数据平台的基本原理和核心技术，使学生具有较强的分析问题和解决问题的能力，为将来从事大数据相关领域的工作打下坚实的基础。具体的课程目标如下：

课程目标1：能够理解大数据平台的基本原理和涉及的相关主要技术。

课程目标2：掌握数据采集、清洗、存储技术，能够设计并优化模型，熟练调度和使用主要资源库。

课程目标3：理解大数据分析处理技术方法，能针对具体实际问题设计可行解决方案并实现。

二、课程目标对毕业要求的支撑关系

毕业要求指标点

课程目标

权重

3-1：能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。

课程目标1

0.4

4-2：能够基于数据科学的方法和原理，就大数据工程应用中涉及的信息处理、数据关联、模型预测等数据挖掘问题进行研究，设计相关的实验方案，并对结果或数据进行分析与总结，得到合理有效的结论。

课程目标2

0.4

5-2：能够针对大数据工程问题，为预测与分析工程模型选择和使用合适的现代工程工具和信息技术工具，并能理解其局限性。

课程目标3

0.2

三、教学内容、基本要求与学时分配

序号

教学内容

基本要求

学时

教学

方式

对应课程目标

1

大数据概述

1. 了解大数据的概述

2. 掌握大叔的特征

3. 理解大数据的意义

2

讲授

演示

练习

课程目标1

2

云计算基础

1. 了解云计算概述

2. 掌握云计算类型、层次、服务模式

3. 了解云计算关键技术

4. 理解云计算与大数据的关系5. 了解云计算平台

2

讲授

演示

练习

课程目标1

3

大数据架构

1. 了解大数据架构概述

2. 掌握Hadoop架构

3. 掌握HDFS架构

4. 掌握MapReduce架构

4

讲授

演示

练习

课程目标2

4

数据采集

1. 了解数据采集概述

2. 了解数据采集平台

3. 掌握数据采集基础

4. 掌握网络爬虫Scrapy框架

5. 掌握Python爬虫实现

4

讲授

演示

练习

课程目标2

5

数据清洗

1. 了解数据清洗概述

2. 掌握数据清洗常用方法

3. 掌握数据质量和数据仓库

4. 掌握数据清洗环境和常用工具

4

讲授

演示

练习

课程目标2

6

大数据存储

1. 了解大数据存储概述

2. 掌握大数据存储方式

3. 掌握NoSQL数据库

4. 掌握NewSQL数据库

5. 掌握云数据库

4

讲授

演示

练习

课程目标2

7

大数据分析与挖掘

1. 了解大数据分析概述

2. 了解大数据挖掘概述

3. 掌握各种数据挖掘算法原理及优化

4

讲授

演示

练习

课程目标2

8

大数据可视化

1. 了解大数据可视化概述

2. 掌握大数据可视化方法

3. 掌握大数据可视化常用工具

4. 了解大数据可视化技术的应用

4

讲授

演示

练习

课程目标3

9

综合案例——大数据行业应用

1. 了解工业大数据概述

2. 了解工业大数据特点及内涵

3. 了解工业大数据与行业关系

4. 掌握工业大数据的应用

4

讲授

演示

练习

课程目标3

合计

32

序号

实验项目

实验内容与要求

学时

类型

对应课程目标

1

云计算基础

在window系统中安装虚拟机安装；熟悉基本操作；用CentOS7部署openstack。必修

2

验证

课程目标1

2

Hadoop平台安装和配置

安装并配置Hadoop平台；熟悉基本操作，并演示。必修

2

验证

课程目标1

3

基于简易软件数据采集

安装八爪鱼软件；了解网络爬虫的特点；熟悉大数据采集有关的操作。选修

2

验证

课程目标2