海量数据预处理综合实训 课程教学大纲.docx

PAGE

PAGE5

字体、字号请参考范例注意：首字母大写植物拉丁学名斜体

字体、字号请参考范例

注意：

首字母大写

植物拉丁学名斜体

一、课程简介

课程中文名

海量数据预处理综合实训

课程英文名

ComprehensiveTrainingofMassiveDataPreprocessing

双语授课

￡是?否

课程代码课程学分

2

周（学时）

48学时

课程类别

□专业认知实习

□专业见习

?工程实训

□毕业实习

□其他

课程性质

?必修

□选修

□其他

课程形态

□线上

?线下

□线上线下混合式

□社会实践

□虚拟仿真实验教学

考核方式

□闭卷□开卷□课程论文?课程作品￡汇报展示?报告

?课堂表现□阶段性测试□平时作业□其他（可多选）

开课学院

大数据与智能工程学院

开课

系(教研室)

数据科学与大数据技术

面向专业

数据科学与大数据技术

开课学期

第5学期

先修课程

数据采集与预处理

后续课程

无

选用教材

斯夸尔（MeganSquire）著、任政委译.大数据策略.人民邮电出版社，2016.

参考书目

朝乐门.数据科学.清华大学出版社，2016.

MattCasters（马特·卡斯特），RolandBouman（罗兰·布曼），JosvanDongen（乔斯·凡·东恩）著，初建军译.PentahoKettle解决方案：使用PDI构建开源ETL解决方案.电子工业出版社，2014.

课程资源

山东大学公开课：数据预处理

/newview/movie/free?pid=MELPPEPSHmid=MEMB095TG

课程简介

海量数据预处理综合实训是数据科学与大数据技术专业必修的综合实践课程。该课程内容包括数据采集与预处理的基础理论技术、Kettle作业的概念及其创建、子作业和子转换的创建与运行、数据集成、数据转换、数据分析等方法。使学生能够选择不同的数据预处理组件和技术方法，解决国内主流的大数据应用场景中存在的问题。

二、课程目标

表2-1课程目标

序号

具体课程目标

课程目标1

能够应用计算机科学和软件工程、物联网等领域的知识，在数据采集与预处理的构思与设计阶段，通过文献研究、实验试验等方法，识别、表达数据导入与预处理的问题及其解决方法。

课程目标2

能够应用数据采集与预处理的理论与方法，以及物联网等相关领域的专业知识、技能与工具，发现数据采集与预处理过程中的问题，提出解决方案；能够在设计环节中体现创新意识、版权保护意识、家国情怀和社会责任，坚持自主创新和团队合作，为建设世界科技强国而奋斗；能够掌握国内大数据常用的大数据开发工具，了解数据采集技术的优势和局限性。

课程目标3

能够设计针对数据采集与预处理的解决方案，大数据系统开发过程中涉及的复杂工程问题，选择和使用恰当的数据采集和预处理工具，进行信息采集、建模、设计、模拟、验证，并能够在实践中了解国内常用的数据采集和预处理工具在不同应用场景中的优势和局限性。

表2-2课程目标与毕业要求对应关系

毕业要求

指标点

课程目标

毕业要求5：能够针对大数据应用领域的复杂工程问题，选择和使用恰当的技术、资源和现代工程工具，进行信息表达、建模、设计、模拟、验证，并能够在实践中了解这些工具使用的局限性。【M】

5.1了解大数据应用领域常用的软硬件平台、数据处理工具、现代工程工具和大数据框架的使用原理和方法，并理解其局限性。

课程目标3

毕业要求9：具有良好的综合素质，能够在多学科背景下的团队中理解与承担个体、团队成员以及负责人角色，并发挥相应的作用。【M】

9.2能够适应多学科背景的团队合作方式，具备一定的组织管理能力，并能综合团队成员的意见，进行合理决策。

课程目标1

毕业要求11：能够理解并掌握工程管理与经济决策方法，熟悉大数据应用领域工程项目管理的基本方法和技术，并能在多学科环境中应用。【H】

11.1理解从事大数据应用领域工程实践活动所需的管理与经济因素，掌握计算机工程管理和经济决策方法。

课程目标2

三、教学内容及要求

（一）学习内容

A.通过本次课程设计，进一步掌握和应用数据预处理的知识，需掌握的内容包括：

1）数据属性与度量，每一个数据对象用一组属性描述，数据集是用结构化数据表表示。

2）数据集类型，从数据对象之间的结构关系角度进行划分，比较常见的有记录数据、有序数据、图形数据。

3）数据清洗，主要包括：测量误差、数据收集错误、噪声、离群点（outlier）、缺失值、不一致值、重复数据等问题。

5）数据集成，将若干个分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合中。

5）数据规范化，数据规范化主要包括数据同趋化处理和无量纲化处理两个