错误链接的抓取

上图是随便抽取的几个蜘蛛返回404状态码的抓取页面，从图中的标注可以看出，即使网站没有死链，蜘蛛仍然会抓取一部分死链，百度蜘蛛喜欢抓取一半URL然后就被勾引到别的地方，而谷歌也有htm后缀抓成html的情况，不过相对来说，谷歌的抓取错误还是非常少的，而百度就不少了，究其原因，估计只有两家公司的工程师才清楚，我们也没必要去关注这个原因。针对这一点，无论你的站有没有死链，尽量都去给加上404错误页面，因为，不管你有木有死链，蜘蛛都会抓到。

服务器租用/服务器托管中国五强！虚拟主机域名注册顶级提供商！15年品质保障！--亿恩科技[ENKJ.COM]