Pytho网络爬虫实习报告.docVIP

Python网络爬虫实习报告 Python网络爬虫实习（报告） PAGE \* MERGEFORMAT - 1 - 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc503355801 一、选题背景 PAGEREF _Toc503355801 \h - 2 - HYPERLINK \l _Toc503355802 二、爬虫原理 PAGEREF _Toc503355802 \h - 2 - HYPERLINK \l _Toc503355803 三、爬虫历史和分类 PAGEREF _Toc503355803 \h - 2 - HYPERLINK \l _Toc503355804 四、常用爬虫框架比较 PAGEREF _Toc503355804 \h - 5 - HYPERLINK \l _Toc503355805 五、数据爬取实战（豆瓣网爬取电影数据） PAGEREF _Toc503355805 \h - 6 - HYPERLINK \l _Toc503355806 1分析网页 PAGEREF _Toc503355806 \h - 6 - HYPERLINK \l _Toc503355808 2爬取数据 PAGEREF _Toc503355808 \h - 7 - HYPERLINK \l _Toc503355810 3数据整理、转换 PAGEREF _Toc503355810 \h - 10 - HYPERLINK \l _Toc503355812 4数据保存、展示 PAGEREF _Toc503355812 \h - 12 - HYPERLINK \l _Toc503355814 5技术难点关键点 PAGEREF _Toc503355814 \h - 12 - HYPERLINK \l _Toc503355816 六、总结 PAGEREF _Toc503355816 \h - 14 - 选题背景 爬虫原理 爬虫历史和分类 常用爬虫框架比较 Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。Scrapy应用范围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。 Crawley框架:Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。 Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。 newspaper框架:newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。 Python-goose框架：Python-goose框架可提取的信息包括：1文章主体内容;2文章主要图片;3文章中嵌入的任heYoutube/Vimeo视频;4元描述;5元标签 五、数据爬取实战（豆瓣网爬取电影数据） 1分析网页 # 获取html源代码def __getHtml(): data = [] pageNum = 1 pageSize = 0 try: while (pageSize = 125): # headers = {User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11, # Referer:None #注意如果依然不能抓取的话，这里可以设置抓取网站的host # } # opener = urllib.request.build_opener() # opener.addheaders = [headers] url = /top250?start= + str(pageSize) + filter= + str(pageNum) # data[html%s % i ]=urllib.request.urlopen(url).read().decode(utf-8) data.append(urllib.request.urlopen(url).read().decode(utf-8)) pageSize += 25 pageNum += 1 print(p