大数据教学大纲.pdf

通过对大数据的相关知识介绍，使学生掌握大数据的概念和原理，熟

悉大数据的理论与算法，了解大数据未来发展趋势，能够利用所学知识，进行大

数据应用实现和算法设计，培养学生运用大数据技术解决大数据行业应用问题。

本课程系统介绍了大数据的理论知识和实战应用，包括大数据概念与

应用、数据采集与预处理、数据挖掘算法与工具、R语言、深度学习以及大数据

可视化等，并深度剖析了大数据在互联网、商业和典型行业的应用。期望学生对

大数据处理技术有比较深入的理解，能够从具体问题或者实例入手，利用所学的

大数据知识在应用中实现数据分析和数据挖掘。

基本要求：熟悉大数据的概念与意义、大数据的来源、大数据应用场景及大数据

处理方法等内容。

重点：大数据的定义、研究内容与应用。

难点：无。

基本要求：熟悉常用的大数据采集工具，特殊是ApacheKafka数据采集使用方

法；熟悉数据预处理原理和方法，包括数据清洗、数据集合、数据转换；掌握数

1/7

据仓库概念与ETL工具Kettle的实际应用。

重点：ApacheKafka数据采集、数据清洗、数据仓库与ETL工具。

难点：ETL工具Kettle的实际应用。

基本要求：熟悉常用的数据挖掘算法，内容上从分类、聚类、关联规则和预测模

型等数据挖掘常用分析方法出发掌握相对应的算法，并能熟练进行数据挖掘算法

的综合应用。

重点：分类算法、聚类算法、关联规则、时间序列预测。

难点：数据挖掘算法的综合应用。

基本要求：熟练掌握机器学习系统Mahout和大数据挖掘工具SparkMllib下的

分类算法、聚类算法、协同过滤算法的使用，并对其他数据挖掘工具有所了解。

重点：Mahout安装与使用、SparkMllib工具的使用。

难点：Mahout和SparkMllib工具的使用。

基本要求：了解R语言的发展历程、功能和应用领域；熟悉R语言在数据挖掘中

的应用；掌握R语言在分布式并行实时计算环境Spark中的应用SparkR。

重点：R语言基本功能、R语言在数据挖掘中的应用、SparkR主要机器学习算法。

难点：R语言与数据挖掘。

基本要求：了解深度学习的发展过程和实际应用场景，并结合人脑的工作原理，

理解深度学习的相关概念和工作机制，做到能够熟练使用常用的深度学习软件。

重点：人脑神经系统与深度学习、卷积神经网络、深度置信网络、循环(递归)

神经网络、TensorFlow和Caffe。

难点：人工神经网络。

基本要求：熟悉大数据可视化的基础知识；掌握文本可视化、网络可视化、时空

数据可视化、多维数据可视化等常用的大数据可视化方法，可通过Excel、

Processing、NodeXL和ECharts软件实现数据的可视化。

2/7

重点：数据可视化流程、大数据可视化方法、大数据可视化软件与工具。

难点：时空数据可视化、多维数据可视化。

基本要求：掌握互联网信息抓取技术，能够通过互联网信息抓取、文本分词、倒

排索引与网页排序这4个主要步骤实现互联网大数据处理，并能够熟练运用。

重点：Nutch爬虫、文本分词、倒排索引、网页排序。

难点：倒排索引。

基本要求：熟悉用户画像和精准营销的构建；熟悉广告推荐系统的建设；熟悉互

联网金融的应用方法。

重点：用户画像构建流程、用户标签、广告推荐、互联网金融应用方向。

难点：信用评分算法、分类模型的性能评估。

基本要求：以地震大数据、交通大数据、环境大数据和警务大数据为例来熟悉行

业大数据的应用，学会利用数据创造价值。

重点：理解数据和数据分析在业务活动中的具体表现。

难点：无。

序实验项目实验