有哪些信誉好的足球投注网站- 1、本文档共4页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
这篇文章主要介绍使用Python爬取豆瓣上热门电影的信息，包括电影名称、海报、评分等信息。在开始介绍本项目前，先简单介绍下网上的信息是如何被“爬”下来的。
我们看到的网页都是用HTML+CSS+JS等语言写出，而页面中加载文字、图片、视频等元素也是通过嵌入到超文本标记语言中展现。我们可以在打开一个网页后通过键盘上F12键或单击鼠标右键选择“查看源文件”查看该网页的源码，我们想要的抓取的文字、图片、视频等信息也都嵌入在该超文本标记语言中。见图：
接下来，我们开始正式介绍本项目，Python爬取豆瓣热门电影：
1、?首先准备项目开发环境
安装lxml、Scrapy、urllib、json等关键库文件
pip install lxml
pip install Scrapy
pip install urllib
pip install json
2、?构建整体思路
本次爬虫使用scrapy框架，scrapy中定义了数据的请求、返回、调度、保存、持久化等行为，通过调用scrapy大大简化了人为编程量。
执行：scrapy startproject tutorial，安装好scrapy后的文件系统是这样：
我们只需重写dmoz_spider.py文件即可。
3、?分析网页
开始动手时一直抓不到豆瓣上电影的信息，掉在在坑里冥思苦想 + 各种有哪些信誉好的足球投注网站学习后发现豆瓣上有关电影的信息都是采用ajax方式加载到HTML中，于是在Network下找到加载ajax的链接，将该链接作为请求地址。
4、动手编程
第一步：先定义请求网页原址：
name=douban
allowed_domains=[]
start_list=[]
foriinrange(1,14):
url=/j/search_subjects?type=movietag=%E7%83%AD%E9%97%A8sort=recommendpage_limit=20page_start=+str(i*20)
start_list.append(url)
start_urls=start_list# 定义start_urls为一个存储链接的列表
第二步：重写请求头文件：
def start_requests(self):
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0
headers = {User-Agent: user_agent}
for url in self.start_urls:
yield scrapy.Request(url=url, headers=headers, method=GET, callback=self.parse)
第三步：在获取的网页源码中提取信息：
def parse(self, response):
hxs = response.body.decode(utf-8)
hjson = json.loads(hxs) # 字典
for lis in hjson[subjects]:
item = Tutorial2Item() # 实例化类
item[info] = lis[url]
item[pic] = lis[cover]
item[score] = lis[rate]
item[title] = lis[title]
filename = item[title] + _ + item[score] + 分 + .jpg
urllib.request.urlretrieve(item[pic], filename)
5、运行查看
我们在cmd下运行该文件：
然后可在目标文件夹下看到同步下载的热门电影信息：多次调试后bingo
文档评论（0）