数据采集与预处理 教学大纲.docxVIP

数据采集与预处理教学大名冈

课程名称

数据采集与预处理

课程代码

英文类别代号

CSCI

授课对象

数据科学与大数据技术，本科生

适用年级

大二

课程类型

专业必修课

课程课型

理论课

总学分

总学时

授课

讨论

实验/上机

实践

其他

1.5

24

24

0

0

0

0

先修课程

无

一、课程简介

本课程详细阐述了大数据领域数据采集与预处理的相关理论和技术。课程内容共8章，包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。

二、培养目标

本课程旨在实现以下几个培养目标：

了解数据采集的概念、方法和任务。

(2)熟悉大数据实验环境的搭建方法，包括Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用。

了解网络爬虫的基础知识，掌握使用网络爬虫获取网页数据的方法。

了解Kafka的特性，掌握使用Python操作Kafka的方法。

了解Flume的组件功能，掌握使用Flume采集数据的方法。

了解数据仓库中的数据集成方法，熟悉ETL和CDC。

(7)掌握ETL工具Kettle的基本使用方法。

(8)掌握使用pandas进行数据清洗的方法。

二、教学方法

本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。同时，在课堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野，培养学生的数据能力。

四、主要内容及学时安排

章（或节）

主要内容

学时安排

第1章概述

数据、数据分析过程、数据采集与预处理的任务、数据采集、数据清洗、数据集成、数据转换、数据脱敏

2

第2章大数据实验环境搭建

Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用

2

第3章网络数据采集

网络爬虫概述、网页基础知识、用Python实现HTTP请求、定制requests、解析网页、综合实例、Scrapy爬虫

4

第4章分布式消息系统

Kafka

Kafka简介、Kafka在大数据生态系统中的作用、Kafka与Flume的区别与联系、Kafka相关概念、Kafka的安装和使用、使用Python操作Ka珠a、Kafka与MySQL的组合使用

2

第5章日志采集系统

Flume

Flume简介、Flume的安装和使用、Flume和Kafka的组合使用、采集日志文件到HDFS、采集MySQL数据到HDFS

2

第6章数据仓库中的数据集成

数据仓库概念、数据集成、

ETL、CDC

2

第7章ETL工具

Kettle

Kettle的基本概念、

Kettle的基本功能、安装Kettle、数据抽取、数据清洗与转换、数据加载

4

第8章使用pandas进行数据清洗

NumPy的基本使用方法、pandas数据结构、基本功能、汇总和描述统计、处理缺失数据、综合实例

6

合计

24

五、考核方式与要求

(1)平时成绩：包括上课考勤和作业；

(2)期末考试：采用笔试，闭卷；

(3)最终成绩：平时成绩和期末考试成绩按5:5比例加权求和。

六、选用教材

林子雨编著《数据采集与预处理》，人民邮电出版社，2022年1月第1版。ISBN:978-7-115-58063-4,定价：

59.80元。

七、参考书目与文献

林子雨编著《大数据导论》，人民邮电出版社，2020年9月第1版，ISBN:978-7-115-54446-9,定价：49.80元。

八、课程网站等支持条件

课程主讲教师建设了国内高校首个大数据课程公共服务平台，提供讲义PPT、课程习题、学习指南、授课视频、技术资料等全方位、一站式免费服务，帮助学生更好学习大数据课程，网站地址：

九、其它信息

大纲制定者：林子雨大纲审定者:

大纲制定时间:2022年1月

XMUUndergraduateCourseSyllabus

Coursename

Dataacquisitionandpreprocessing

Coursecode

Categorycode

CSCI

Programme

DataScienceandBigDataTechnology

Semester

Sophomore

Coursetype

□BasicCommonCoursesaGeneralEducationCoursesnDisciplinaryGeneralCourses■SpecializedCourses□OtherTeachingProcesses

Coursefocus

■L