ISEO具体实施文件附件资料.doc

制作日期：2011.1.4 完善日期：不定期 前言：为方便阅读，请把word调整为文档结构图模式（视图菜单――勾选“文档结构图”） 为什么要有robots.txt文件 robots.txt就是有哪些信誉好的足球投注网站引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的. 1。现在的SEOER都恨不得自己的网站全给蜘蛛抓住，所以往往都忽略了robots.txt，而不去添加，以为蜘蛛就会自动默认抓取全部的页面，这个是误区，切记切记，因为每次用户访问不存在的url的时候，服务器都会自动添加上一个错误那就是404的错误（自己可以乱输入一个网站你自己看看是不是有个404的错误），而我们每当有哪些信誉好的足球投注网站的时候，蜘蛛去寻找我们有哪些信誉好的足球投注网站的网站，而恰恰没有robots.txt，那么也会自动加上一条404的错误，累积太多后，引擎就判断你这个网站是不存在的，直接把你判刑了！直接不收录了。 2。要不然就是把robots.txt全部都设置为可被蜘蛛抓取，这样可以全部增加曝光率？这也是错误的，打个比方，你叫一个邮递员送货到你家，其实你只需要告诉你需要送往的地方就可以了，可你偏偏不，而是把自己的姨妈姑妈老妈干妈的地址全说了一遍，你觉得这个邮递员会不会觉得你有点问题？明白我的意思了吗？浪费服务器资源！引擎最讨厌这样，所以出现这样的情况，引擎也会把你判刑了。 3。我们可以在robots.txt里稍微设置一下，就可以和引擎蜘蛛交好哦，蜘蛛最讨厌的是什么？后台管理文件、程序脚本、附件、数据库文件、编码、样式表、模板、导航图片和背景图片，这些全是蜘蛛最恶心的东西，好，那么我们全都屏蔽了！怎么做？写入Disallow: /cgi-bin，就OK了！蜘蛛就会发现你人真够哥们，让我来的这么舒服，好，给你个优！下次直接过来了！ 4。动态网页，让我们又爱又恨。爱的地方是先进，恨的地方是引擎不收录！这情况怎么做到让引擎收录呢？我们继续利用robots.txt来完成，首先我们创建一个静态的副本，然后在robots.txt里再设置动态避免被蜘蛛嗅探到，以保证网页不会被视为重复的内容，不就OK啦？哈哈，这不是黑帽哦！而是活生生的白帽哦！ 5。robots.txt还能让我们轻松很多，站长朋友都应该知道提交sitemap是很繁琐的吧？嘿嘿，其实我们有个好技巧，就是把sitemap直接写在robots.txt就可以了，这样蜘蛛每次过来就会直接读取里面的sitemap了。 关键字对应的URL 未完成 行业和门户网站 百度 中国建材采购网 / 慧聪网 中国建材第一网（/classId-006001/） 中国建材网 百家信建材网 阿拉丁照明网 / 中国照明网 / 中国LED网 中国照明灯具网 / 66照明导航网 / 照明技术网 LED照明 / 一步电子网 / 照明网工程师论坛 / 中国灯泡网 / 照明中国网 / 中国照明广告网 财运通 中国led网 以下好像都需要交费 / 威客中国 / LED广告照明网 http://www.jiancai.cc/ 中国建材网 中国建材网 / 中国城市照明网 / 中国LED照明网 / 中国半导体照明网 SEO工具 / seo综合查询 /baidu/words.aspx / 百度有哪些信誉好的足球投注网站指数，可查看关键字的热门程度。逗号分隔多个关键字。 /analytics/ dongjian1984@163.com 内容与结构工具 有哪些信誉好的足球投注网站引擎抓取内容模拟器 可以模拟蜘蛛抓取指定网页Text,Link,Keywords及Description信息 /search-engine-spider-simulator.php 相似页面检测工具 检验两个页面的相似度.如果相似度达80%以上,将可能受到惩罚 /similarchecker.php Google Sitemaps 在线创建 在线创建 Google Sitemaps 网站地图文件 中文:/sitemap/s