Python网络爬虫基础教程教学设计.doc

黑马程序员传智教育旗下

黑马程序员

一样的教育，不一样的品质高端IT教育品牌

一样的教育，不一样的品质

黑马程序员

《Python网络爬虫基础教程》教学设计

课程名称： 授课年级： 授课学期： 教师姓名：

年月

黑马程序员

传智教育旗下

高端IT教育品牌

一样的教育，不一样的品质

课题名称

第1章认识网络爬虫

计划课时

2课时

教学引入

随着网络的蓬勃发展，万维网成为大量信息的载体，如何有效提取并利用这些信息成为一个巨大的挑战。网络爬虫作为一种自动采集数据技术，它凭借自身强大的自动提取网页数据的能力，成为当下万维网收集数据高效灵活的解决方案之一。本章主要对网络爬虫的基础知识进行详细地讲解。

教学目标

●使学生熟悉网络爬虫的概念及分类，能够归纳通用网络爬虫和聚焦网络爬虫的区别

●使学生了解网络爬虫的应用场景，能够列举至少3个网络爬虫的应用场景

●使学生熟悉网络爬虫的Robots协议，能够说明robots.txt文件中每个选项的含义

●使学生熟悉防网络爬虫的应对策略，能够列举至少3个应对防网络爬虫的策略

●使学生掌握网络爬虫的工作原理，能够定义通用爬虫和聚焦爬虫的工作原理

●使学生熟悉网络爬虫抓取网页的流程，能够归纳网络爬虫抓取网页的完整流程

●使学生了解网络爬虫的实现技术，能够说出使用Python实现网络爬虫有哪些优势

●使学生熟悉网络爬虫的实现流程，能够归纳使用Python实现网络爬虫的流程

教学重点

●网络爬虫的工作原理

●网络爬虫抓取网页的流程

●Python实现网络爬虫的流程

教学难点

无

教学方式

课堂教学以PPT讲授为主，并结合多媒体进行教学

教学过程

第一课时(什么是网络爬虫、网络爬虫的应用场景、Robots协议、防爬虫应对

策略)

一、教师通过直接导入的方式导入新课

教师首先讲解网络爬虫的概念，其次讲解网络爬虫历经几十年的发展，衍生出的爬虫类型，了解了什么是网络爬虫，然后讲解网络爬虫的应用场景，最

后讲解Robots协议以及防爬虫对应策略。

二、新课讲解

知识点1-什么是网络爬虫

教师通过PPT的方式讲解什么是网络爬虫。

(1)熟悉网络爬虫的概念。

(2)熟悉网络爬虫的分类。

教师通过PPT的方式讲解网络爬虫的概念。

网络爬虫(WebCrawler)又称网络蜘蛛、网络机器人，它是一种按照一定规则，自动浏览万维网的程序或脚本。通俗地讲，网络爬虫就是一个模拟真人浏览万维网行为的程序，这个程序可以代替真人自动请求万维网，并接收从万

人

黑马程序员

传智教育旗下

高端IT教育品牌

一样的教育，不一样的品质

维网返回的数据。与真人浏览互联网相比，网络爬虫能够获取的信息量更大，效率也更高。

教师通过PPT的方式讲解网络爬虫的分类。

(1)通用网络爬虫(GeneralPurposeWebCrawler)又称全网爬虫(ScalableWebCrawler),是指访问全互联网资源的网络爬虫。通用网络爬虫是互联网早

期出现的传统网络爬虫，它是有哪些信誉好的足球投注网站引擎(如百度、谷歌、雅虎等)抓取系统的重要组成部分，主要用于将互联网中的网页下载到本地，形成一个互联网内容的镜像备份。

(2)聚焦网络爬虫(FocusedCrawler)又称主题网络爬虫(TopicalCrawler),是指选择性地访问那些与预先定义好的主题相关网页的网络爬虫，它根据预先定义好的目标，有选择性地访问与目标主题相关的网页，获取所需要的数据。

(3)增量式网络爬虫(IncrementalWebCrawler)是指对已下载的网页采取增量式更新，只爬行新产生或者已经发生变化的网页的爬虫。

(4)深层网络爬虫(DeepWebCrawler)是指爬行深层网页的网络爬虫，

它要爬行的网页层次比较深，需要通过一定的附加策略才能够自动爬行，实现难度稍微大一些。

知识点2-网络爬虫的应用场景

教师通过PPT的方式讲解网络爬虫的应用场景。

(1)有哪些信誉好的足球投注网站引擎

(2)舆情分析与监测

(3)聚合平台

(4)出行类软件

知识点3-Robots协议

教师通过PPT的方式讲解Robots协议。

(1)Robots协议又称爬虫协议，它是网站国际互联网界通行的道德规范，

其目的是保护网站数据和敏感信息，确保网站用户的个人信息和隐私不受侵犯。

(2)网站管理员通常会在网站的根目录下放置一个符合Robots协议的

robots.txt文件，通过这个文件告知网络爬虫在抓取该网站时存在哪些限制，哪些网页是允许被抓取的，哪些网页是禁止被抓取的。

知识点4-防爬虫应对策略

教师通过PPT的方式讲解防爬虫应用策略。

(1)添加User-Agent字段