网站建设与Robots协议.pdf

为企业提供互联网工具 ，让供需互动变得触手可及 网站建设与 Robots协议 Robots协议（也称为爬虫协议、机器人协议等 ）的全称是 “网络爬虫排除标准”（Robots Exclusion Protocol ）， 网站通过 Robots协议告诉有哪些信誉好的足球投注网站引擎哪些页面可以抓取 ，哪些页面不能抓取。网站建设过程中 ，要注意 Robots 协议的使用 ，避免误用导致屏蔽页面造成网站不收录。 文件写法 User-agent * 这里的*代表的所有的有哪些信誉好的足球投注网站引擎种类 ，*是一个通配符,User-agent BaiduSpider规定百度蜘蛛 1 / 3 上海担路网络科技有限公司致力于客户挖掘、网络信息展示、客户关系维护 ，打造高性价比的一体化互联网解决方案 ！ 为企业提供互联网工具 ，让供需互动变得触手可及 Disallow ：该项用于描述不希望被抓取和索引的一个 URL Disallow /admin/ 这里定义是禁止爬寻 admin 目录下面的目录 Disallow /require/ 这里定义是禁止爬寻 require 目录下面的目录 Disallow /ABC/ 这里定义是禁止爬寻 ABC 目录下面的目录 Disallow /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以.htm为后缀的 URL(包含子目录)。 Disallow /*?* 禁止访问网站中所有包含问号 (?) 的网址 Disallow /.jpg$ 禁止抓取网页所有的.jpg 格式的图片 Disallow/ab/adc.html 禁止爬取 ab文件夹下面的 adc.html文件。 Allow /cgi-bin/ 这里定义是允许爬寻 cgi-bin 目录下面的目录 Allow /tmp 这里定义是允许爬寻 tmp的整个目录 Allow .htm$ 仅允许访问以.htm为后缀的 URL。 Allow .gif$ 允许抓取网页和 gif 格式图片 查询方法 ：域名/robots.txt （1 ）禁止所有有哪些信誉好的足球投注网站引擎访问网站的任何部分。 User-agent * Disallow / （2 ）允许所有的 robots访问 ，无任何限制。 User-agent * Disallow 或者 User-agent * Allow / Disallow 和 Allow 可以同时使用 ，例如 ，需要拦截子目录中的某一个页面之外的其他所有页面 ，可以这么写 ： User-agent * 2 / 3 上海担路网络科技有限公司致力于客户挖掘、网络信息展示、客户关系维护 ，打造高性价比的一体化互联网解决方案 ！ 为企业提供互联网工具 ，让供需互动变得触手可及 Disallow /AAA.net/ Allow /AAA.net/index.html 这样说明了所有蜘蛛只可以抓取/AAA.net/index.html 的页面 ，而/AAA.net/文件夹的其他页面则不能抓取。 担路云建站系统是基于担路云 SAAS云架构开发 ，集成展示、电商、微信、论坛、分类信息、分销、会员卡等功 能 ，内置上万套样式和组件 ，客户可以像做 PPT 一样做网站 ，可自由设计 PC 网站、手机网站、微信及 APP的 建站系统。通过使用系统内置模块和组件 ，减少传统建站中间环节 ，提升建站效率 ！ 开通一个担路云账号 ，即可拥有 ： 一个可以像做 PPT 一样做网站的 DIY 云建站系统 ； 一个可以自定义主题的微信游戏系统 ； 一个线上线下的 O2O 电商系统 ； 一个手机号、