8.7万条豆瓣电影数据分析.docxVIP

这篇文章主要分两部分来聊，第一部分讲数据的抓取，第二部分对电影数据进行一些简单的分析。好，我们这就进入正题... 第一章：获取豆瓣电影信息 1.构造链接 我们在豆瓣电影分类标签下，根据电影类型的不同来构造链接，获得爬取的初始链接入口。初始的入口链接构造好了，如何把全部电影信息的链接都获取到呢？这里一般有两种方式，对于动态加载页面内容的网页，我们需要根据URL的规律构造地址，当然这也是稍复杂的一种方式。另一种方式就是在页面中找到下一页地址，这次的爬取比较简单，直接在页面中获取下页地址即可。 这里我通过一个theme_page的类，获取所有主题下的全部链接地址： # coding=utf-8 # usr/bin/eny python importurllib.request importrequests fromlxmlimportetree importtime 获取每个主题下有多少页内容 (没有输入，输出字典) classtheme_page(object): def__init__(self): self.tags=[u爱情,u喜剧,u动画,u剧情,u科幻,u动作,u经典,u悬疑,u青春,u犯罪,u惊悚, u文艺,u搞笑,u纪录片,u励志,u恐怖,u战争,u短片,u黑色幽默,u魔幻,u传记, u情色,u感人,u暴力,u动画短片,u家庭,u音乐,u童年,u浪漫,u黑帮,u女性, u同志,u史诗,u童话,u烂片,ucult] defget_total_num(self): tags=self.tags total_num=[] list=[] fortagintags: # print(tag) #主题名称 re_url=/tag/{}?start=0type=T.format(urllib.request.quote(tag)) # print(re_url) # 主题链接 s=requests.get(re_url) contents=s.content.decode(utf-8) selector=etree.HTML(contents) num=selector.xpath(//*[@id=content]/div/div[1]/div[3]/a[10]/text()) total_num.append(int(num[0])) # print(num[0]) # 总页数 list.append({# list :{爱情: 393}, {喜剧: 392}, {动画: 274}, 主题:tag, 总页数:num[0] }) returnlist 2.信息抽取 这块的工作也比较常规，由于豆瓣电影信息的页面不是动态加载，给抓取数据的工作减小了很大难度，使用lxml工具先抓到列表页中的电影简介信息和链接，然后进入到每部电影的链接里抓取详情信息。 抓取列表页信息： tag=urllib.request.quote(u爱情) url_1=/tag/{}?start=0type=T.format(tag) classdouban(object): def__init__(self,*args,**kwargs): self.conn=pymysql.connect(host=localhost,port=3306,user=root,password=,db=douban,charset=utf8) self.cursor=self.conn.cursor() self.sql_info=INSERT IGNORE INTO `douban_mov` VALUES(%s,%s,%s,%s,%s,%s) defsearch(self,content): 爬取页面内电影信息 try: selector=etree.HTML(content) textslist=selector.xpath(//div[contains(@class,grid-16-8 clearfix)]/div[1]/div[2]/table) exceptExceptionase: print(e) try: fortextintextslist: lists=[] title=text.xpath(tr/td[2]/div/a/text()) score=text.xpath(tr/td[2]/div/div/span[2]/text()) num=text.xpath(tr/td[2]/div/div/span[3]/text()) link=text.xpath(tr/td/a/@href) content=text.xpath(tr/td[2]/div/p/text()) iftitle: title=title[0].strip().replace