站点流量异常追查文档.docVIP

站点流量异常追查文档 百度站长平台几乎每天都会接到站长关于流量的询问，很多站长发现站点流量发生很大变化后，第一反应就是认为自己被误判降权了，情绪激动者不经审核立即开始在公开媒体声讨百度为自己造势。但经过百度站长平台追查，大部分站点都不是真的被惩罚了，或者说并不是因为站点主观原因被惩罚。所以，为了解开站长关于站点流量大幅下滑的谜团，更好地帮助站长查找原因，我们推出了《站点流量异常追查文档》，希望能给站长一些启示。 一，运维篇 　　1、CDN 　　2、robots 　　3、UA/IP 　　4、安全问题/管理不善 　　　　A、域名泛解析 　　　　B、网站被黑 　　　　C、网页被挂马 　　　　D、UGC站点被SPAMMER群发 二，特征页分析 　　1、分析流程图 　　2、查找特征页面 　　3、分析异常特征 　　　　A、排名无，流量无 　　　　B、部分排名无，流量损失较大 三，相关因素——外链爆增 　　1、首页、频道页、重要页面被恶意投票 　　2、用户创建页面、垃圾个人页、内容页被恶意投票 　　3、拼接有哪些信誉好的足球投注网站结果页漏洞 　　4、如何预防产生拼接有哪些信誉好的足球投注网站结果页 什么是流量异常 来自百度有哪些信誉好的足球投注网站的流量突然间降了50%以上，且是持续性的，即已经连续四至五天流量没有明显涨幅变化。如下图所示： 如果出现上述现象，建议大家从运维角度、页面特征，以及相关因素来判断原因。 站点流量异常原因之运维篇 1、CDN 　　一些网站会使用CDN加速服务，最近每周站长平台都会接到一两个跟CDN加速问题有关的案例。CDN这里存在一个问题：不同的CDN服务商在全国分布的节点数不同，站点在使用CDN服务时，同一地区CDN给蜘蛛返回的IP地址要和给用户的一致。那么现实情况是，部分CDN服务商出于成本考虑与资源使用率的问题，会在不告知用户的情况下变更IP地址以节约成本，这样就导致蜘蛛在去抓的时候，会遇到新IP和老IP的问题，在站点没有告知更换IP的情况下，蜘蛛会认为站点目前存在问题，首先是减少抓取量，其次会判断是否把不可访问的页面下掉，这时候就出现了用户访问IP与蜘蛛抓取IP不一致的情况。所以建议站点在选择CDN服务时要选择稳定的CDN服务商，其次如果IP更换最好通过站长平台抓取诊断工具抓取测试，如果IP不正确可以点击下图红框“报错”提示给站长平台 ? 2、Robots 　　站长应该对robots都不陌生，但为什么还要提呢？有这样一种情况：站点需要更新robots文件，对站内部分内容禁止或放开抓取。但由于操作后没有检查是否生效，站长会默认为已经生效。同时还有一个生效周期的问题，那么站点需要在百度站长平台提供的robots检测工具中做一个抓取测试来验证是否生效。 如果看到robots内容和你更改后的内容不一致，有几种可能：第一种可能是网站没有全面布局，因为有的站点服务器可能在很多地方，你需要确认robots是否已全部推送；第二种可能是百度没有及时做更新，可以通过robots检测工具下方的更新按钮来告诉百度Robots有变化。 ? 3、UA/IP 　　UA封禁一般不会是站点主观错误操作，往往是意外情况，站点在程序中过滤误操作UA封禁，而通常却不知道自己封禁了蜘蛛。只有在逐步的排查才会发现这种概率很小的问题。所以在流量异常中我们在运维篇中把这项列进去，让站点注意这些个细节。 　　那么当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，useragent相关的设置中是否有Baiduspider UA，并及时修改。禁止所有来自百度的抓取： User-agent: Baiduspider Disallow: / 　　IP封禁往往是遇到CC攻击的时候不知道哪些是真百度蜘蛛和仿冒百度蜘蛛而封禁了蜘蛛IP，这里我们建议通过DNS反查方式让站点了解哪些是真实蜘蛛，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下： 　　A、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名，非 *. 或 *.baidu.jp 即为冒充。 　　B、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *. 或 *.baidu.jp 的格式命名，非 *. 或 *.ba