数据采集与预处理 教学大纲 .pdfVIP

数据采集与预处理教学大纲--第1页

数据采集与预处理教学大纲

课程名称数据采集与预处理

英文

课程代码CSCI

类别代号

授课对象数据科学与大数据技术，本科生适用年级大二

课程类型专业必修课课程课型理论课

总学分总学时授课讨论实验/上机实践其他

1.524240000

先修课程无

一、课程简介

本课程详细阐述了大数据领域数据采集与预处理的相关理论和技术。课程内容共8章，包括

概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据

仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。

二、培养目标

本课程旨在实现以下几个培养目标：

（1）了解数据采集的概念、方法和任务。

（2）熟悉大数据实验环境的搭建方法，包括Python的安装和使用、JDK的安装、

MySQL数据库的安装和使用、Hadoop的安装和使用。

（3）了解网络爬虫的基础知识，掌握使用网络爬虫获取网页数据的方法。

（4）了解Kafka的特性，掌握使用Python操作Kafka的方法。

（5）了解Flume的组件功能，掌握使用Flume采集数据的方法。

（6）了解数据仓库中的数据集成方法，熟悉ETL和CDC。

（7）掌握ETL工具Kettle的基本使用方法。

（8）掌握使用pandas进行数据清洗的方法。

三、教学方法

本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。同时，在课

堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野，培养学生的数据能力。

数据采集与预处理教学大纲--第1页

数据采集与预处理教学大纲--第2页

四、主要内容及学时安排

章（或节）主要内容学时安排

数据、数据分析过程、数

据采集与预处理的任务、

第1章概述数据采集、数据清洗、数2

据集成、数据转换、数据

脱敏

Python的安装和使用、

第2章大数据实验环境JDK的安装、MySQL数据库

2

搭建的安装和使用、Hadoop的

安装和使用

网络爬虫概述、网页基础

知识、用Python实现HTTP

第3章