数据采集与预处理 课程教学大纲.docx

PAGE

PAGE1

《数据采集与预处理》课程教学大纲

一、课程简介

课程中文名

数据采集与预处理

课程英文名

Datacollectionandpreprocessing

双语授课

□是?否

课程代码课程学分

4

总学时数

64（含实践32）

课程类别

□通识教育课程

□公共基础课程

?专业教育课程

□综合实践课程

□教师教育课程

课程性质

?必修

□选修

□其他

课程形态

□线上

?线下

□线上线下混合式

□社会实践

□虚拟仿真实验教学

考核方式

□闭卷□开卷□课程论文?课程作品□汇报展示?报告

?课堂表现□阶段性测试?平时作业□其他（可多选）

开课学院

大数据与智能工程

开课

系(教研室)

数据科学与大数据技术

面向专业

数据科学与大数据技术

开课学期

第3学期

先修课程

Python程序设计

后续课程

无

选用教材

1.朱晓姝、许桂秋.大数据预处理.人民邮电出版社,2019.

参考书目

1.MattCasters（马特·卡斯特），RolandBouman（罗兰·布曼），JosvanDongen（乔斯·凡·东恩）.PentahoKettle解决方案：使用PDI构建开源ETL解决方案.\o电子工业出版社电子工业出版社，2014.

课程资源

1.数据获取与预处理.网易云课堂.

/course/2001353005?tid=2001578010#/info

课程简介

数据采集与预处理是数据科学与大数据技术专业的必修核心课程，旨在让学生主流的数据采集技术和大数据预处理方法和工具，具备采集大数据并对其进行预处理的能力。课程内容包括正则表达式、网络爬虫、数据预处理背景及其意义、数据预处理理论方法、数据预处理工具（Kettle）、Kettle的使用等。

二、课程目标

表1课程目标

序号

具体课程目标

课程目标1

能够应用数学、计算机科学和数据采集与预处理的基本原理，在数据采集与预处理流程的构思与设计阶段，通过文献研究、实验试验、工程推理、数学建模等方法，识别、表达、分析复杂数据采集与预处理问题及其解决方法、识别和判断数据采集与预处理问题的关键环节和参数，已获得数学模型、工程知识库等有效结论。

课程目标2

能够利用数据采集与预处理基础知识，以及计算机及软件工程等相关领域的专业知识、技能与工具，设计针对数据采集与预处理问题的解决方案，解决实际数据采集与预处理全过程中遇到的复杂工程问题，并能够在设计环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等因素。

课程目标3

能够针对数据采集与预处理过程中涉及的复杂工程问题，选择和使用恰当的数据采集和预处理工具，进行信息的采集、预处理、表达、建模、设计、模拟、验证，并能够在实践中了解国内主流数据采集和预处理平台在不同应用场景中的优势和局限性；树立使用国产软件、保护版权的意识，激发民族自豪感；坚持自主创新，为建设世界科技强国而奋斗。

表2-1课程目标与毕业要求对应关系

毕业要求

指标点

课程目标

毕业要求3：能够针对大数据应用领域的复杂工程问题，综合应用数据科学与大数据技术基本原理和方法，设计、开发满足特定应用需求的系统方案，并能够在设计环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等多维度协同发展因素。【H】

3.2能够根据实际目标和解决方案，设计或开发出大数据应用系统及说明文档，并能够在设计和开发过程中体现创新性。

课程目标1

毕业要求5：能够针对大数据应用领域的复杂工程问题，选择和使用恰当的技术、资源和现代工程工具，进行信息表达、建模、设计、模拟、验证，并能够在实践中了解这些工具使用的局限性。【M】

5.2能够正确选择和使用恰当的软硬件平台、数据处理工具、现代工程工具和大数据框架，提高解决问题效率。

课程目标2

毕业要求6：基于大数据应用领域相关背景知识，能够合理分析和评价大数据应用实践和复杂工程问题解决方案对社会、健康、安全、法律以及文化的影响，并理解应承担的责任。【L】

6.1了解大数据应用相关领域的技术标准体系、知识产权、产业政策和法律法规，理解不同社会文化对工程活动的影响。

课程目标3

三、课程学习内容与方法

（一）理论学习内容及要求

表3-1课程目标、学习内容和教学方法对应关系

序号

课程模块

学习内容

学习任务

课程目标

学习重点难点

教学方法

学时

1

数据采集

1.数据采集概述

1.拓展阅读：阅读数据采集相关的文献，查阅网络爬虫相关案例，学习国内主流的数据采集工具

课程目标1

重点：

1.数据采集技术算法的实现

2.网络爬虫算法实现

难点：

3.正则表达式的应用

1.课堂讲授：