Python爬虫大数据采集与挖掘-12.ppt

**Python爬虫大数据采集与挖掘(12)

--互联网大数据获取技术的应用提纲常见应用模式舆情监测网站自动化测试酒店评论文本挖掘1.分类与聚类2.相关性分析3.主题建模4.大数据的可视化5.用于安全监测提纲常见应用模式舆情监测网站自动化测试酒店评论文本挖掘目标与任务（1）不失一般性，这里以新浪新闻中的国内新闻板块为信息源；（2）自动采集新闻列表中的每个条目，包括标题和发布时间；（3）对每条新闻报道，进一步采集其主体内容，包括文本信息和图片；（4）将采集到的新闻报道存储到文件中；（5）对于新闻文本内容，以词汇为基本单位，对所采集到的新闻进行关键词的可视化。（6）对于新闻文本内容，进行主题分析，对主题进行可视化。为了抓取新闻列表，首先需要了解相应的列表页面是以什么的方式展示出来的。静态动态分页提纲常见应用模式舆情监测网站自动化测试酒店评论文本挖掘互联网上许多Web网站都是基于Web和数据库的架构，一些重要信息存储在数据库系统中。由于Web设计等多方面的原因，一些攻击者可以利用Web的漏洞而进入系统，为此需要设计一种爬虫，能够自动检测Web站点中的页面，判断页面中的数据库查询访问是否存在注入漏洞的可能。在爬虫设计思路上，主要分成三个环节，分别是注入模式的设置、爬虫请求以及响应结果分析#对每个页面进行注入模式的检测defCheck(mode,url_set,header):res=[]ssion=requests.session()forlinkinurl_set:foriinmode:#使用post方法提交注入模式中设定的用户名和密码data={username:i[0],password:i[1]}r=ssion.post(link,headers=header,data=data)print(data)if登陆成功inr.text:print(link++存在SQL漏洞！)elifExceptioninr.text:print(r.text)print(link++SQL语句语法错误！)else:print(link++无问题.)return检测过程提纲常见应用模式舆情监测网站自动化测试酒店评论文本挖掘酒店评论文本挖掘主要解决两类人员的需求，一是在线酒店管理的相关人员，二是酒店客户。这两类系统用户希望能对一段时间内的用户情绪进行量化，了解其变化情况，同时也会希望能对评分差的评论进行分析，发现此类文本的共同特征。相应的业务功能描述如下：1.评论文本采集及预处理2.评论文本的情绪分析3.低评分文本的内容分析**