《Python语言》课件 第11章 项目实战：爬虫程序.pdfVIP

Python语言 大数据应用人才培养系列教材 第十一章 项目实战：爬虫程序 11.1爬虫概述 11.2 爬虫3大库 11.3 项目实战 11.4 Scrapy框架 11.1爬虫概述 第十一章 项目实战：爬虫程序 爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，它可以不受人工 干涉自动按照既定规则浏览互联网中的信息。我们把这些既定规则， 称为爬虫算法。使用Python语言可以方便的实现这些算法，编写爬虫 程序，完成信息的自动 取。 常见的网络爬虫主要有：百度公司的Baiduspider、360公司的 360Spiderx搜狗公司的Sogouspider、微软公司的Bingbot等。 11.1爬虫概述 第十一章 项目实战：爬虫程序 准备工作 通常，我们在爬取一个站点之前，需要对该站点的规模和结构进 行大致的了解。站点自身的robots.txt和sitem叩文件都能够为我们了 解其构成提供有效的帮助。 ❶robots文件 一般情况下，大部分站点都会定义自己的robots文件，以便引导 网络蜘蛛按照自己的意图爬取相关数据。 ❷sitemap文件 站点提供的sitemap文件呈现了整个站点的组成结构。它能够帮 爬虫根据用户的需求定位需要的内容，而无须爬取每一个页面。 ❸估算站点规模 目标站点的大小会影响我们爬取的效率。通常可以通过百度有哪些信誉好的足球投注网站 引擎的site关键字过滤域名结果，从而 取百度爬虫对目标站点的统 计信息。 11.1爬虫概述 第十一章 项目实战：爬虫程序 爬虫类型 网络爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网 络爬虫、增量式网络爬虫和深层网络爬虫。实际的网络爬虫系统通常 是由这几种爬虫组合而成。 ❶通用网络爬虫： 别名全网爬虫。该类型的爬虫 取的目标资源在整个互联网中， 其目标数据量庞大，爬行的范围广泛。比如：百度蜘蛛。 ❷聚焦网络爬虫： 别名主题网络爬虫，是一种按照预先定义好的主题有选择的进行 网页爬取的网络爬虫。与通用网络爬虫相比，它的目标数据只和预定 义的主题相关，爬行的范围相对固定。主要用于特定信息的 取。 11.1爬虫概述 第十一章 项目实战：爬虫程序 爬虫类型 ❸增量式网络爬虫： 是指对已下载网页采取增量式更新和只爬行新产生的或者已经发 生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能 新的页面。和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只 会在需要的时候爬行新产生或发生更新的页面。 ❹深层网络爬虫： 是一种用于爬取互联网中深层页面的爬虫程序。和通用网络爬虫 相比，深层页面的爬取，需要想办法自动填写对应的表单，因而，深 层网络爬虫的核心在于表单的填写。 11.1爬虫概述 第十一章 项目实战：爬虫程序 爬虫原理 不同的爬虫程序，其实现原理也不尽相同。但这些实现原理有许 多的相似之处，即我们通常所说的 〃共性 〃。基于此，本节用一个通 用的网络爬虫结构来说明爬虫的基本工作流程。 已下载网 页数据， 大数据应用人才培养系列教材 第十一章 项目实战：爬