基于Python的儿童书籍数据爬取研究与应用.docx

PAGEII

基于Python的儿童书籍数据爬取研究与应用

摘要：在大数据时代，互联网是丰富的信息和重要的数据来源，而爬虫技术是广泛获取数据的一种手段。儿童是世界的未来，关注儿童的书籍是可以第一时间知道当前儿童书籍的文化导向与未来趋势，而电商网站提供了全面的大量书籍数据。本文首先是利用Python在爬虫方面丰富的库和扩展性的技术优势，先对电商网站上的童书有哪些信誉好的足球投注网站进行URL分析，遍历获取URL并通过MongoDB存储，再通过MongoDB获取到URL抓取动态网页数据。同时开启子线程进行广度遍历当前页面有效的URL链接，直到MongoDB中的URL数据全部遍历完成。本文中实现的分布式爬虫可以进行多台电脑共同抓取数据，能够并行抓取效率相对较高。该方案在思路和架构上优势明显，分布式的爬取，效率高，但是对数据库服务器要求也较高。

关键词：Python；爬虫；Mongo

Abstract：Intheeraofbigdata,theInternetisarichsourceofinformationandimportantdata,andcrawlertechnologyisameansofdataacquisition.Childrenarethefutureoftheworld,andchildrensbooksarethefirsttimetoknowtheculturalorientationandfuturetrendsofchildrensbooks,ande-commercesitesprovideacomprehensivevolumeofbookdata.Inthispaper,firstofall,usingPythonsrichlibraryandextensibilitytechnologyadvantage,URLanalysisofchildbooksearchoneCommercewebsiteisfirstcarriedout,URListraversed,andMongoDBisstored,andURLtocapturedynamicwebpagedatathroughURL.Atthesametime,openthesubthreadtoextendtheeffectiveURLlinkofthecurrentpageuntiltheURLdatainMongoDBistraversed.Thedistributedcrawlerimplementedinthispapercanfetchdatafrommultiplecomputers,andtheefficiencyofparallelcrawlingisrelativelyhigh.Theschemehasobviousadvantagesinthewayofthinkingandstructure,andtheefficiencyofdistributedcrawlingishigh,buttherequirementfordatabaseserverishigher.

Keywords：Python；Crawler；Mongo

目录

TOC\o1-3\h\z\u摘要 I

Abstract I

目录 II

1绪论 1

1.1背景 1

1.2意义 1

1.3常用爬虫技术 1

1.4研究目的 2

2相关技术介绍 2

2.1系统架构模式 2

2.2使用的开发语言 4

2.2.1Python 4

2.2.2MongoDB 4

3系统分析 5

3.1系统需求分析 5

3.2系统功能分析 5

3.2.1系统业务描述 5

3.2.2系统需求建模 6

3.2.3系统数据建模 7

3.2.4系统过程建模 8

4爬虫系统设计 9

4.1爬虫系统应用架构 9

4.2爬虫系统功能设计 10

4.3爬虫系统数据库设计 11

5爬虫系统实现 12

5.1爬虫功能实现 12

5.2URL有哪些信誉好的足球投注网站组件实现 14

5.