《数据清洗》核心课程标准.pdfVIP

《数据清洗》核心课程标准--第1页

《数据清洗》核心课程标准

课程编码0408011课程类别专业核心课

计划学时68课程类型B类

适用专业大数据技术与应用课程性质必修

开课学期第四学期学分4

大数据导论Python语言云

先行课程开课单位信息工程系

计算

大数据系统运维

平行课程考试类型考试

数据标注工程

后继课程顶岗实习

一、课程性质与定位

本课程是面向信息工程系大数据技术与应用专业学生的核心课程，是培养掌握大数据

清洗的一般理论与实际操作应用模式技术的专业实践性课程。

二、课程设计与理念

本课程系统地讲解了数据清洗理论和实际应用，共分为8章：第1章主要介绍数据清

洗的概念、任务和流程，数据标准化概念及数据仓库技术等；第2章主要介绍Windows和

类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；第3章介绍ETL概念、

数据清洗的技术路线、ETL工具及ETL子系统等；第4章介绍了Excel、Kettle、OpenRefine、

DataWrangler和HaWk的安装及使用等；第5章介绍Kettle下文本文件抽取、Web数据

抽取、数据库数据抽取及增量数据抽取等；第6章介绍数据清洗步骤、数据检验和数据错

误处理，数据质量评估及数据加载；第7章介绍网页结构，利用网络爬虫技术进行数据采

集，利用JavaScript技术进行行为日志数据采集等；第8章介绍RDBMS的数据清洗方法

和数据脱敏处理技术等。

三、课程目标

（一）总体目标

培养德、智、体、美全面发展的，能够较快适应生产、建设、管理、服务等一线岗位

需要的，面向电信、零售、银行、金融、政府等部门的掌握大数据存储、清洗、管理、建

模和分析的基本技能，具有较高综合素质与良好职业素养的发展型、复合型、创新型技术

《数据清洗》核心课程标准--第1页

《数据清洗》核心课程标准--第2页

技能人才。

（二）技能与知识目标

学习掌握数据清洗的概念、任务和流程，数据标准化概念及数据仓库技术；了解

Windows和类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；掌握ETL

概念、数据清洗的技术路线、ETL工具及ETL子系统的使用，Excel、Kettle、OpenRefine、

DataWrangler和HaWk的安装及使用，Kettle下文本文件抽取、Web数据抽取、数据库

数据抽取及增量数据抽取，数据清洗步骤、数据检验和数据错误处理，数据质量评估及数

据加载，网页结构，利用网络爬虫技术进行数据采集，利用JavaScript技术进行行为日

志数据采集，RDBMS的数据清洗方法和数据脱敏处理技术等。

（三）能力与素质目标

具备大数据应用理论基础知识，了解大数据技术框架和生态系统，熟悉Hadoop技术

框架操作，具备程序设计能力，掌握数据清洗操作，熟悉ETL工具的使用，掌握使用ETL

工具进行定制化清洗技术，能够进行常规的统计分析、报表分析，能够提出问题，并能制

定详细实施计划。

四、课程教学内容及学时分配

序号项目名称学习任务学习内容学时