- 1、本文档共44页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
八爪鱼·云采集服务平台
八爪鱼·云采集服务平台
微信文章爬虫实现方法
如今越来越多的优质内容发布在微信公众号中,对这些内容,有些朋友会有采集下来的需求,下面为大家介绍使用八爪鱼爬虫工具去抓取采集微信文章信息。
本文将以搜狗微信文章为例,介绍使用八爪鱼采集网页文章正文的方法。文章正文里一般包括文本和图片两种。本文将采集文章正文中的文本+图片URL。
将采集以下字段:文章标题、时间、来源和正文(正文中的所有文本,将合并到一个excel单元格中,将使用到“自定义数据合并方式”功能,请大家注意)。同时,采集文章正文中的文本+图片URL,将用到“判断条件”,“判断条件”的使用,有很多需要注意的地方。以下两个教程,大家可先熟悉一下。
“自定义数据合并方式”详解教程:
HYPERLINK /tutorialdetail-1/zdyhb_7.html /tutorialdetail-1/zdyhb_7.html
“判断条件”详解教程:
HYPERLINK /tutorialdetail-1/judge.html /tutorialdetail-1/judge.html
采集网站:/
使用功能点:
分页列表信息采集
HYPERLINK /tutorial/fylb-70.aspx?t=1 /tutorial/fylb-70.aspx?t=1
Xpath
HYPERLINK /search?query=XPath /search?query=XPath
AJAX点击和翻页
HYPERLINK /tutorial/ajaxdjfy_7.aspx?t=1 /tutorial/ajaxdjfy_7.aspx?t=1
判断条件
HYPERLINK /tutorialdetail-1/judge.html /tutorialdetail-1/judge.html
AJAX滚动
HYPERLINK /tutorialdetail-1/ajgd_7.html /tutorialdetail-1/ajgd_7.html
步骤1:创建采集任务
1)进入主界面,选择“自定义模式”
微信文章爬虫实现方法步骤1
2)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”
微信文章爬虫实现方法步骤2
HYPERLINK /article/javascript:; 步骤2:创建翻页循环
在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后,默认显示“热门”文章。下拉页面,找到并点击“加载更多内容”按钮,在操作提示框中,选择“更多操作”
微信文章爬虫实现方法步骤3
选择“循环点击单个元素”,以创建一个翻页循环
微信文章爬虫实现方法步骤4
由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”
微信文章爬虫实现方法步骤5
注:AJAX即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。
表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。
验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。
观察网页,我们发现,通过5次点击“加载更多内容”,页面加载到最底部,一共显示100篇文章。因此,我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤,打开“高级选项”,打开“满足以下条件时退出循环”,设置循环次数等于“5次”,点击“确定”
微信文章爬虫实现方法步骤6
步骤3:创建列表循环并提取数据 HYPERLINK /article/javascript:;
移动鼠标,选中页面里第一条文章链接。系统会自动识别相似链接,在操作提示框中,选择“选中全部”
微信文章爬虫实现方法步骤7
选择“循环点击每个链接”
微信文章爬虫实现方法步骤8
系统会自动进入文章详情页。点击需要采集的字段(这里先点击了文章标题),在操作提示框中,选择“采集该元素的文本”。文章发布时间、文章来源字段的采集方法同理
微信文章爬虫实现方法步骤9
接下来开始采集文章正文。先点击文章正文的第一段,系统会自动识别页面内的同类元素,选择“选中全部”
微信文章爬虫实现方法步骤10
5)可以看到,所有的正文段落均被选中,变为绿色。选择“采集以下元素文本”
微信文章爬虫实现方法步骤11
注意:在字段表中,可进行字段的自定义修改
微信文章爬虫实现方法步骤12
6)经过如上操作,正文就会被全部采集下来(默认为每一段正文为一个单元格)。一般而言,我们希望采集的正文,合并为同一个单元格。点击“自定义数据字段”按钮
您可能关注的文档
- 风火广告一个王者诞生藏珑 NXPowerLite.ppt
- 服装订货会舒立平中华讲师网.ppt
- 赣锋锂业2017年报冶金工业财务信息江西赣锋锂业股份有限公司财务管理九舍会智库.pdf
- 钢铁雄心4法国1939年剧本图文战报.pdf
- 高雄港都校长日本爱知创意永续游学行.doc
- 给水2009秋第三章平面一般力系.ppt
- 古墓丽影崛起附支线全宝物收集.pdf
- 骨癌早期症状不明显 夜间疼痛要注意.docx
- 广告学概论第1516讲 广告创意.ppt
- 国际票据法概述正式.ppt
- 江苏省灌云高级中学2023-2024学年高三上学期第一次月考地理试题含答案.docx
- 备战2024年高考物理一轮重难点复习 第十三章 近代物理.docx
- 江苏省高邮市一中2021-2022学年高三上学期第一次月考语文试题(原卷版).docx
- 江苏省华罗庚中学2023-2024学年高三上学期12月阶段检测数学试卷含答案.docx
- 江苏省海门中学2023-2024学年高三上学期第一次调研考试地理试题及答案.docx
- 备战2024年高考物理一轮重难点复习 第九章 恒定电流.docx
- 江苏省高邮市2023-2024学年高三下学期3月学情调研数学试题含答案.docx
- 备战2024年高考物理一轮重难点复习 实验十一:探究影响感应电流方向的因素.docx
- 备战2024年高考物理一轮重难点复习 实验三:验证平行四边形定则.docx
- 备战2024年高考物理一轮重难点复习 第十四章 光.docx
文档评论(0)