Robots.txt规范

robots.txt即The Robots Exclusion Protocol（机器人排除协议），用于告诉搜索引擎的漫游器（又称网络蜘蛛）哪些网站内容不能被抓取。

robots.txt的作用和用法请参见robots.txt一文，而本文将介绍robots.txt的规范的由来、各种分支演变和相关资源。

robots.txt规范的演变

robots.txt是一个民间的约定规范，而非强制性标准。这一规范被很多搜索引擎网站所采纳，并成为一个有实际意义的网站管理手段。

在原始的robots.txt规范中，只支持对文件名、路径名的URL进行精确匹配，而不支持*、?等通配符。这在使用中不够方便，所以Google、Yahoo等搜索引擎都对它进行了各自的扩展，详细信息参见本段后面给出的链接。

robots.txt目前不隶属于任何标准组织/商业团体或由其提供支持。由于并非特定组织发布，这导致了robots.txt缺乏权威性解释。实际使用中，google、yahoo等公司均对其做了不同程度的扩展，因而在实施robots.txt时，站长们需要自针对各网络爬虫来阅读其所有者的介绍。

关于robots.txt的未来发展，已经有一些研究和提案，但好像还没有实施。提案链接一并在这里给出。

1994年，形成了基础的robot排除规划。这里规定了robots.txt文本的存放、注释/空行的作用、User-Agent指定方法和*方法、特定路径禁止访问的指定方法。这些基础规定参见 http://www.robotstxt.org/orig.html
robots.txt的事实标准(1994)： http://www.robotstxt.org/wc/norobots.html 至本文最后修改时间为止(2008年)，此文档仍然是被广泛采用的事实标准！google、yahoo等则在此基础上稍微做了扩展。
1997年，形成了robots.txt的互联网规范草案，但最终未能形成标准。本草案中，比较详尽的规定了robots.txt的语法规则，并提出了“allow”命令用于指定允许访问的路径（但事实上，Disallow与Allow命令很容易出现逻辑冲突问题，导致必须规定优先权的判断。这会让使用者大感头痛，因而Allow命令并未得到广泛接受。--2008年3月注）。

本文对于理清robots.txt逻辑有较大帮助，参见 http://www.robotstxt.org/norobots-rfc.txt

注：有时本草案被称为“1996 Robots Exclusion Standard”（1996年的机器人排除标准）

在1999年12月24日发布的《HTML 4.01 Specification》（W3C推荐标准）中，附录B.4.1简略提到了robots.txt的实现。这里面的语法规则基本是1994年的规划，并没有1997年草案中的扩展。参见 http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4 或[1]
另外有一份2002年写的robots.txt 2.0草案，但内容远称不上详尽，因而这篇文章不推荐阅读。参见 http://www.conman.org/people/spc/robots2.html