文章内容

搜索引擎爬虫第一次到你的网站都干什么

发布时间: 2012/9/23 15:45:32

就如同拜访您的朋友，到你家门口都会礼貌的敲门，吃一两次闭门羹或许尚可忍受，吃多了闭门羹，从此和你一刀两断，能否挽回交情那自要下另一番功夫了，咱们不去讨论。这里看看蜘蛛爬虫第一次到我们网站，它们会先干什么呢？用分析数据说话。

2011-10-12 14:53:22 *** GET /robots.txt *;+Googlebot/2.1;* 404

2011-10-13 02:16:58 *** GET /robots.txt * Baiduspider * 404

2011-10-13 11:12:00 *** GET /robots.txt * Sosospider+ * 404

2011-10-17 01:46:56 GET /robots.txt *;+Googlebot/2.1;* 200

上面的时间是GMT时间，我们是在东八区，加上8小时就是北京时间了。从上面可知，谷歌百度搜搜先后来本站请求robots.txt文件返回404错误，页面无法找到。17日早6点我写了一个robots.txt文件，谷歌第一时间请求该文件，返回200成功状态码。

2011-10-12 15:44:53 *** GET /index.asp *+Googlebot/2.1; * 200

2011-10-12 22:01:23 *** GET /index.asp * Sogou+web+spider/4.0 * 200

2011-10-13 01:22:19 *** GET /index.asp *;+Baiduspider/2.0; * 200

2011-10-14 12:17:47 *** GET /index2.asp *;+Googlebot/2.1;* 200

12日晚上21点左右，谷歌爬虫率先请求了我的首页，网站积极响应返回200状态码，搜狗百度紧跟其后。14日为线上测试需要，把默认首页改成index2.asp，并在上面写上蛋蛋的蛋，谷歌不负众望很快收录，三日之后还给我放了出来，让我哭笑不得。

请注意红色标记Baiduspider和+Baiduspider/2.0，前面是个先头兵？从上面结果来看，百度貌似跟着谷歌屁股走抓取反映慢半拍。我认为不然，我喜欢用Firefox编辑测试，Firefox有谷歌工具条，并习惯于登录状态。

本文出自：亿恩科技【www.enkj.com】

服务器租用/服务器托管中国五强！虚拟主机域名注册顶级提供商！15年品质保障！--亿恩科技[ENKJ.COM]