爬虫技术与应用课程标准 (1).docx

信息技术产业学院

《爬虫技术与应用》

课程标准

课程代码：

适用专业：大数据技术

编者：计算机教研室（大数据课程组）

课程负责人：

审核人：

编制单位：云南能源职业技术学院信息技术产业学院系（部）

合作单位：武汉伟创聚赢科技有限公司

编制日期：年月日

《爬虫技术与应用》课程标准

（一）课程基本信息

课程代码：

课程名称：爬虫技术与应用

承担单位：计算机教研室大数据课程组

课程学分：4

课程类别一：B类

参考学时：64

课程类别二：专业基础课

课程类别三：必修课/考试

适用专业（层次）：三年制普专

先修课程：《Linux操作系统实战》

后续课程：《Hadoop大数据基础》

职业资格：工信部NCIE中级软件工程师

编制：《爬虫技术与应用》课程开发团队

批准人：

课程负责人：

（二）课程详细信息

1．适用对象

三年制学生/五年制学生。

2．适用专业

大数据技术

3.参考学时64学分4

4.课程简介

《爬虫技术与应用》较为全面地介绍了不同场景下Python爬取网络数据的方法，包括静态网页、动态网页、登录后才能访问的网页、PC客户端、App等场景。全书共7章，第1章介绍了爬虫与反爬虫的基本概念，以及Python爬虫环境的配置，第2章介绍了爬取过程中涉及的网页前端基础，第3章介绍了在静态网页中爬取数据的过程，第4章介绍了在动态网页中爬取数据的过程，第5章介绍了对登录后才能访问的网页进行模拟登录的方法，第6章介绍了爬取PC客户端、App的数据的方法，第7章介绍了使用Scrapy爬虫框架爬取数据的过程。本书所有章节都包含了实训与课后习题，通过练习和操作实战，可帮助学生巩固所学的内容。

5.课程性质与定位

①课程性质：专业必修课

②课程定位：大数据时代已经到来，在商业、经济及其他领域中基于数据和分析去发现问题并做出科学、客观的决策越来越重要。在数据分析技术的研究和应用中，爬虫作为数据获取来源之一，扮演着至关重要的角色。为了推动我国大数据，云计算，人工智能行业的发展，满足日益增长的数据分析人才需求，特开设Python网络爬虫技术课程。

6.课程设计思路

①课程设计依据：随着大数据时代的来临，数据挖掘将更加广泛地渗透到各行各业中去，而完全面向对象的Python的教学工作也将成为高校中数学和统计学等专业的重点发展对象，这是大数据时代下的必然趋势。

②具体设计思路：在每章的理论部分讲解主要采用讲授法，对于每章的难点和重点部分的讲解可采用启发法，让学生做到由浅入深，循序渐进的理解和掌握相应的知识点，对于难点内容亦可以采用课堂讨论法以调动学生的积极性，对于基本概念部分建议采用课上练习法加以巩固。要求学生自己动手分析实例，学习基本理论和方法，结合已有的知识，适当组织一些讨论，充分调动学生的主观能动性，以达到本课程的教学目的。

7.课程目标与要求

（1）总体目标：培养德、智、体、美、劳全面发展的综合型IT技能型人才，通过本课程的学习，使学生学会使用Python在静态网页、动态网页、需要登录后才能访问的网页、PC客户端、APP中爬取数据，将理论与实践相结合，为将来从事数据爬虫、分析研究工作奠定基础。

（2）具体目标

1）知识目标

①掌握python3网络爬虫原理

②掌握使用第三方库进行网页爬取

③理解使用抓包工具进行数据爬取

④掌握scarpy框架的使用

⑤了解后期数据处理

2）能力目标

①具备python爬虫基础编程能力

②具备python使用抓包工具与Srcapy框架思想能力

3）素质目标

①学生自主探究学习状态

②学生合作学习状态

③学生的自我感受(共鸣度、愉悦度、价值度)

④与人合作的积极性

教学内容组织与安排

序号

项目/模块/任务

教学内容/任务

教学/学习目标

教学活动设计

教学资源

学习地点

学时

1

Python爬虫基础知识

Python爬虫环境与爬虫简介

认识爬虫的概念

认识爬虫的原理

了解爬虫运作时应遵守的规则

了解反爬虫的目的和常用手段

针对反爬虫的常用手段制定对应爬取策略

了解Python常用爬虫库

掌握MySQL数据库的配置方法

掌握MongoDB数据库的配置方法

认识爬虫的概念及原理

认识反爬虫的概念及对应爬取策略

掌握Python爬虫的环境配置方法

课件、教案、素材、教学环境、实践项目

实训机房

4

2

网页前端基础

了解Socket库的作用及其包含的协议类型

了解Socket库中的3种函数及其作用

熟悉使用Socket建立服务器端和客户端进行TCP通信，通过TCP通信