SEO基础篇：robots写法

    今天上海潇然孤雁飞就和大家一些来温习一下SEO基础知识:robots.txt文件的写法。

    1. robots.txt的定义

    robots.txt只是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

    百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

   2. robots.txt存放的位置

　  robots.txt必须放置在你网站空间的根目录下，而且文件名必须全部小写。

     例如 路径如下:  http://www.xlfseo.com/robots.txt

    3. robots.txt文件在SEO中作用

　搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人等），自动搜集互联网上的网页并获取相关信息。

　鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

　我们在进行网站优化的时候，如新站刚上线网站内容暂末完善或者一些错误的文章,或机密的文件如会员信息,产品报价等,不想让搜索引擎抓取,这就需要设置robots文件把一些内容屏敝告诉搜索引擎不要抓取那些隐私。

    4. robots.txt文件的写法

　　语法：最简单的 robots.txt 文件使用两条规则：
· User-Agent: 适用下列规则的漫游器
· Disallow: 要拦截的网页

　　User-agent: *                      这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/               这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/              这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/                   这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm     禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?*                      禁止访问网站中所有的动态页面
Disallow: /.jpg$                   禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html       禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　                这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp                          这里定义是允许爬寻tmp的整个目录
Allow: .htm$                       仅允许访问以".htm"为后缀的URL。
Allow: .gif$                         允许抓取网页和gif格式图片

   5. robots.txt书写典型案例

    1). 淘宝网屏蔽百度

    2008年9月8日淘宝网正式向百度宣战：淘宝网将屏蔽百度的搜索引擎抓取，这是国内首家大型商业网站公开宣称屏蔽搜索引擎的信息抓取。淘宝网新闻发言人卢先生对《第一财经日报》表示，淘宝是完全屏蔽百度，但只屏蔽谷歌很小一部分。“淘宝一直以来，都会对搜索引擎实施不同程度的屏蔽，以保护用户信息、商品信息等商业数据，对百度如此，对谷歌也一样。”

    淘宝网的 robots.txt文件书写格式：

　　User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /

 

    2. seowhy搜外 robots.txt文件书写格式：

    User-agent: *
    Disallow: /plus/
    Disallow: /inclu
    Disallow: /temple
    Disallow: /bbs/?
    Disallow: /ed
    Disallow: /tupian/
    Disallow: /www
    Disallow: /yinpin/
    Disallow: /bbs2/
    Disallow: /zancu
    Disallow: /zili
    Disallow: /uplo
    Disallow: /images/
    Disallow: /imgs/
    Disallow: /sns/
    Disallow: /pdf/
    Disallow: /wiki
    Disallow: /blog
    Disallow: /rencai
    Disallow: /faq
    Disallow: /wikizx.php
    Disallow: /wikimy.php
    Disallow: /wikiwd.php
    Disallow: /show.php
    Disallow: /bbs/dnfourm.php?
    Disallow: /news/seowhy.ph
    Disallow: /course/gov.ph
    Disallow: /course/av.ph
    Disallow: /special/seowhy.ph

    5. robots.txt书写注意事项

　1) robots文件中的内容的大小写不可更改，Disallow后面的冒号必须为英文状态的。

　2).你希望网站上所有的文件都需要被蜘蛛抓取，如果没有添加robots.txt文件了, 搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。

    3).网站中的脚本程序、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件，具体哪些文件需要排除。

    4).合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。

   5).如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。

    6).每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。

    6.robots.txt生成工具

    一些新手SEO如果对于以上的内容还有一些疑问,潇然孤雁飞在为大家分享一款傻瓜化的生成Robots.txt工具,在线直接生成。

服务器租用/服务器托管中国五强！虚拟主机域名注册顶级提供商！15年品质保障！--亿恩科技[ENKJ.COM]