基于Python爬虫技术的研究.docx

  1. 1、本文档共9页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
? ? 基于Python爬虫技术的研究 ? ? 洪丽华 HONG Li-hua;黄琼慧 HUANG Qiong-hui (厦门软件职业技术学院软件工程学院,厦门 361000) 0 引言 爬虫技术是一把双刃剑。随着科学的发展,网络的应用也随之快速地发展。网络的最大作用是随时随地给不同的用户提供资源。网络提供了大量的资源,特别是随着大数据技术的发展,用户如何在这些资源中尽快找到自己所需要的呢?运用爬虫技术,能够以最快地速度获取到用户所需要的相关资源。爬虫,像机器人一样,按照制定的规则、编写的程序,在网络中能够自动地有哪些信誉好的足球投注网站、整理相关的资源。爬虫技术,也称为网络爬虫[1]。运用爬虫技术,既能获取到网站上合法的、公开的的信息,也能获取到不合法的、私人的信息。本人提倡在法律法规的范围内、在道德约束的条件下,运用爬虫技术。 爬虫技术的应用非常广泛,比如:爬取网页、爬取热点新闻、爬取金融信息、爬取用户的联系方式等等[2]。其中,最广泛、最流行的应用是爬取网页,即网页爬虫。实现爬虫技术,可以运用编程语言来编写程序代码,比如:C语言、C++、Java、Python等程序设计的语言。其中,Python语言具有简洁的代码、开发的效率高等优势,颇受开发者的热爱。 本文从Python、爬虫技术和网页爬虫等三大方面进行阐述。 1 Python Python提供的安装程序、源代码,都是免费的。它分别提供了与操作系统Windows、Linux和Mac等其它操作系统相匹配的所有免费的安装版本,又分别提供了在线的、离线的和压缩包的等安装程序。比如,Python 3.11.Orc-Sept 12,2022版 本 提 供 了Windows installer(32-bit)、Windows installer(64-bit)、Windows installer(ARM64)和Windows embeddable package(32-bit)、Windows embeddable package(64-bit)、Windows embeddable package(ARM64)等安装程序[3]。本文的程序代码是在Windows操作系统下运行的。Python的官方下载网址为:/downloads。 Python不仅仅自带强大、丰富的标准库,还拥有大量的第三方库[4]。Python的所有第三方库的官方下载网址为:。假设要下载第三方库Scrapy,登录第三方库的官方网站,在有哪些信誉好的足球投注网站框中输入Scrapy,就能有哪些信誉好的足球投注网站到它的所有版本,用户再根据电脑的配置选择相应的版本下载、安装。 在安装第三方库时,可以选择在线安装,也可以选择离线安装。如果是在线安装,比如安装Scrapy,在命令符窗口输入:pip install scrapy,系统会自动选择与电脑相匹配的scrapy版本进行安装;如果是离线安装,用户得先查看、判断电脑里面的相关软件的版本,再下载相应的scrapy版本进行安装。 2 爬虫技术 Python提供了许多库来实现爬虫技术[5],比如,BeautifulSoup库、rurlib库、requests库和pycurl库等等。其中,用得比较多的是requests库,包含以下常用的函数:request()、get()、head、post、put、patch、delete()等等。 爬虫技术的一般流程是[5]:①明确需要爬取的目标、内容;爬取哪个网站的哪些内容,每个网站的URL是不一样的,需要正确地输入,比如,百度的URL是:;京东的URL是:;需要爬取哪些内容,得正确地书写;②用户向服务器发送请求;一般需要加请求的报头,比如加:“User-Agent”,以免被误认为是非法客户的访问;③服务器返回给用户的数据;服务器会给用户发回许许多多的数据,包含有价值的数据和无价值的数据等等;④解析、提取需要的数据;从服务器返回的数据中,解析和提取有价值的数据,过滤无价值的数据;⑤用文件、数据库或其它方式存储相应的数据;把解析和提取的有价值数据用不同的形式保存以备用。 Python也提供了许多框架来实现爬虫技术[6],比如,Portia、Crawley、Scrapy等等。其中Scrapy框架,包含下载器(Downloader)、Spider中间件(Spider Middlewares)、下载器中间件(Downloader Middlewares)等多个组件,同时,Scrapy框架也包含了许多作用不同的相对应的命令,比如,使用Scrapy下载器下载的URL并且将内容输出的fetch()命令。 但是,由于爬虫的过程中,许多服务器资源会被消耗掉,服务器的稳定性也会受到很大影响,基于种种原因,爬虫是不受网站所有者的欢迎。为了能够顺利地实现爬虫技术,需要先了解网站所有者所制定的限制措施——反爬虫,然后,

文档评论(0)

智慧IT + 关注
实名认证
内容提供者

微软售前技术专家持证人

生命在于奋斗,技术在于分享!

领域认证该用户于2023年09月10日上传了微软售前技术专家

1亿VIP精品文档

相关文档