爬虫学习4——Xpath爬取网页信息.pdfVIP

爬⾍学习4——Xpath爬取⽹页信息 xpath是在XML⽂档中有哪些信誉好的足球投注网站内容的⼀门语⾔，我们常见的html是xml的⼀个⼦集 ⽬录 安装lxml模块 pip install lxml 获取⽹页数据 本次实验选择了代码中的⽹站，获取下⾯雇佣和招标的信息 text()拿⽂本。 xpath使⽤[1]选择同种标签的第⼀个。 /a[@href=]根据属性href的值选择特定标签 //表⽰后代（⼦标签，孙⼦标签，重孙⼦标签）。 *表⽰任意的节点，通配符。 使⽤@拿到属性值 ./表⽰当前节点 from lxml import etree import requests code=requests.get(/?k=saas) v=code.text r=etree.HTML(v) result=r.xpath(/html/body/div[1]/div[6]/div/div[2]/div[2]/div/div[1]/div) for d in result: #m=d.xpath(./div[@class=result-search-item]) t1=d.xpath(./div[1]/h4/@title) t2=d.xpath(./div[2]/text()) gongzuo=d.xpath(./div[3]/span[2]/text()) hangye=d.xpath(./div[3]/span[3]/text()) place=d.xpath(./div[3]/span[4]/text()) money=d.xpath(./div[4]/span/text()) gongsi=d.xpath(./div[4]/div/text()) information=[t1,t2,gongzuo,hangye,place,money,gongsi] print(information) 输出结果如下： [[需要企业管理SaaS], [\n找⼈做SaaS\n], [通⽤类], [农林牧渔], [上海], [￥20.00], [\n, \n\n, \n\n]] [[需要B2B电商⼩程序], [\n标准的B2B商城：\n需要能开票、合同的解决⽅案\n收款⽅式需要有对公转账（或者提供解决⽅案）\n 积分⽅案需要可以针对单⼀商户设置\n有能对接ERP系统（⽐如财务的⽤友办公）\n其余标准B2B商城所带有的必需功能等\n不要 SAAS，不要重新定制\n], [⽹站定制开发], [农林牧渔], [南昌], [￥150000.00], [\n, \n\n, \n\n]] [[微信⼩程序开发公众号H5设计APP定制⽹站建设saas软], [\n微信⼩程序开发公众号H5设计APP定制⽹站建设saas软件\n], [⼩ 程序开发], [IT⾏业], [上海], [￥3000.00], [雇佣服务商：玖魅科技]] [[教育培训在线排课约课系统成品SaaS账号], [\n教育培训在线排课约课系统成品SaaS账号年费服务\n], [APP开发], [⼴州], [], [￥8440.00], [雇佣服务商：邻⽶⽹络]] [[需要软件测试], [\n测试⼯程师\n公司开发了⼀套SaaS系统，需要测试前端和后台功能\n], [测试服务], [IT⾏业], [⽆锡], [￥3500.00], [\n, \n\n, \n\n]] [[ 【软件开发】ERP|CRM|OA|SaaS管理软件定制开], [\n 【软件开发】ERP|CRM|OA|SaaS管理软件定制开发\n], [⾏业软件开 发], [深圳], [], [￥1000.00], [雇佣服务商：鲸蓝互联科技]] [[SAAS⼩程序电商系统开发（微信⽀付宝抖⾳百度H5公众号], [\nSAAS⼩程序电商系统开发（微信⽀付宝抖⾳百度H5公众号商城 \n], [⼩程序开发], [批发零售], [合肥], [￥6688.00], [雇佣服务商：猫灵⽹络-国家⾼企双软挂牌企业]] [[软件UI界⾯web管理系统saas平台后台客户端终端页⾯], [\n软件UI界⾯web管理系统saas平台后台客户端终端页⾯设计\n], [软 件界⾯设计], [互联⽹服务], [南昌], [￥500.00], [雇佣服务商：轻妙视觉]] [[软件UI界⾯web管理系统saas平台后台客户端终端页⾯], [