《互联网数据采集》课程标准.pdf

《互联网数据采集》课程标准

课程代码QX

适用专业大数据技术应用专业

适用学制3年（5年一贯制、5+2贯通培养）

编制人

审核人

版本号202302

一、课程名称

互联网数据采集。

二、适用专业

大数据技术应用专业。

三、课程学时与学分

72学时，4学分。

四、课程性质

本课程是大数据技术应用专业的一门专业核心课程，是从事数据采集工程师、数据分

析师等岗位必须学习的课程，将为后续学习《数据清洗与预处理》、《数据可视化》、《大数

据分析》、《大数据ETL》等课程奠定基础。本课程开设在第3学期，学习该课程之前需具

备一定的Python编程、数据库操作能力，《大数据基础》、《计算机网络技术应用基础》、

《Python程序设计基础》、《web前端技术应用》是该课程的前导课程。本课程学习的

知识和技能可以为第4学期考取数据采集X证书（初级）做知识和技能准备。

五、课程目标

通过本课程的学习，能完成热点舆情数据采集任务、农产品营销数据采集任务、招聘

网站数据采集任务、农作物监控数据采集任务，达到以下具体目标：

（一）素养目标

1.培养社会主义核心价值观、爱国主义情操、家国情怀。（培养规格1）

2.能够熟练掌握互联网数据采集的相关知识与技能，了解大数据产业文化，遵守国

家数据相关法律法规，具备社会责任感和担当精神。（培养规格3）

3.遵守互联网安全伦理规范，防范信息泄露，保护数据安全。（培养规格6）

4.具备数据思维、数字化素养，具有较强的逻辑思维能力。（培养规格8）

5.具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯

规划能力。（培养规格2）

6.具备主动学习的意识与能力，能适应大数据行业的不断变革发展，具备解决实际

问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意

识。（培养规格5）

（二）知识目标

1.了解数据采集在大数据分析流程中的重要作用。（培养规格13）

2.掌握数据采集项目的行业企业规范流程。（培养规格7）

3.了解数据采集的定义、数据采集的类型和主要实践工具，掌握互联网数据采集的

流程。（培养规格13）

4.掌握HTML语言的基础知识，熟悉HTML语言的常用标签。（培养规格13）

5.了解计算网络的基础知识，掌握HTTP协议的GET、POST请求。（培养规格11）

6.了解正则表式的基础语法，掌握使用正则表达式匹配字符串的方法。（培养规格

11）

7.掌握Xpath的语法规则，了解JavaScript的工作机制。（培养规格11）

8.掌握八爪鱼等数据采集工具的应用流程和操作步骤。（培养规格11）

9.掌握Python语言的re库、requests库、Pandas库、JSON库BeautifulSoup库

的安装、配置和使用方法。（培养规格11）

10.了解静态数据采集和动态数据采集的异同点，掌握处理动态数据采集的方法。（培

养规格13）

11.了解常见的反爬手段，根据反爬手段制定相应的反爬虫策略。（培养规格13）

12.掌握简单的数据预处理方法，基于处理数据绘制简单的可视化图形。（培养规格

17）

（三）能力目标

1.能够基于数据采集项目需求分析，规划数据采集顶层设计，制定相数据采集策略。

（培养规格13）

2.能够使用八爪鱼数据采集工具完成简单的互联网数据采集任务。（培养规格13）

3.能够使用Python语言及第三方库编写数据采集程序，完成多种类型的数据采集任

务。（培养规格13）

4.能够使用Python第三方库完成简单的数据预处理并进行数据核验。（培养规格

16）

5.能够基于采集处理后的数据规划可视化看板，提供解决方案。（培养规格17）

6.能够独立分析、解决互联网数据采集项目中的技术问题，能够快速准确参考技术

资料帮助解决问题。（培养规格13）

7.能够