认识几个搜索引擎爬虫

发布时间: 2012/9/23 15:45:07

Googlebot 谷歌搜索引擎爬虫，当它第一次出现在你网站日志时，谷歌和网站的漫长交往正式开始。Googlebot 是 Google 的网页抓取机器人（有时称为“信息采集软件”）。抓取是 Googlebot 发现新网页和更新的网页以将这些网页添加到 Google 索引中的过程。

Baiduspider 百度蜘蛛，大多数中文网站辛辛苦苦，就是为了有朝一日能和这个蜘蛛搞对眼，对眼了小站也就有油水了。Baiduspider 是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。

Sogou+web+spider：sogou spider是搜狗搜索引擎的一个自动程序。它的作用是访问互联网上的网页，存储到本地数据库中，并从中发现新的链接，走访互联网，使用户能在搜狗搜索引擎中搜索到您网站的网页。

ia_archiver：这个是Alexa的蜘蛛爬虫，和Googlebot、Baiduspider一样，为收集用户数据而存在。

Sosospider+、HuaweiSymantecSpider、MJ12bot、+bingbot、ichiro等等不一而足。我们要对它们来访表现出热情与好客，有朋自远方来，要不亦乐乎？

本文出自：亿恩科技【www.enkj.com】

服务器租用