Robots.txt相关链接
天下维客，你可以修改的网络知识库
| robots.txt综述 | 怎么写robots.txt | robots.txt语法规范 | 文件实例 | 常见错误 | 扩展功能 |
| robots.txt疑难解答 | 检测工具 | 禁止收录特定页面 | 清除已收录的页面 | META标签：robots | |
| nofollow | noindex | .htaccess | 网络爬虫的名称 | 常见爬虫的特性 | robots.txt相关链接 |
目录 |
[编辑]
常见搜索引擎网站的robots.txt帮助页
[编辑]
[编辑]
yahoo
[编辑]
baidu
[编辑]
腾讯搜搜
[编辑]
搜狗
[编辑]
网易有道
[编辑]
msn
[编辑]
robots.txt规范相关链接
- 以下链接给出robots.txt的通用标准
- robots.txt的原始规范出处： http://www.robotstxt.org 网站
- ★★★★★robots.txt的原始英文资料： robots.txt相关内容索引 - 1994.6.30的robots.txt规范 - robots.txt之站长实施说明
- 各搜索引擎对robots.txt的规定和扩展
- 以下链接供读者针对某特定搜索引擎爬虫而撰写robots.txt时参考
- ★★★★★google对robots.txt的规定（多语种）： http://www.google.com/support/webmasters/bin/answer.py?answer=40360 （扩展了路径通配符、Allow命令、Sitemap等）
- yahoo对robots.txt的规定（英文）： http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html （扩展了路径通配符、爬虫访问频度）
- baidu对robots.txt的规定： http://www.baidu.com/search/robots.html （仅作为相关备忘，实际上没有做扩展）
- robots.txt的新版提案
- 以下链接供研究robots.txt的未来，目前对网站操作没有实质影响
- robots.txt 2.0版本提案： http://www.conman.org/people/spc/robots2.html
- robots.txt其他相关文章
- ★★★☆☆搜索引擎蜘蛛及Robots.txt文件详解 http://www.bloghuman.com/post/67.htm
- ★★★★☆Robots.txt指南 http://www.adsensepro.net/seo/seo/2007-02-12/Robotstxt-ZhiNa-r5pm06.htm
- robots.txt生成工具
- ★★☆☆☆http://www.mcanerin.com/EN/search-engine/robots-txt.asp 一个简单的robots.txt生成工具，及robots.txt简介
- ★★★☆☆http://www.clickability.co.uk/robotstxt.html 一个较好的robots.txt生成工具，可以借以了解多种不同的网络爬虫分类
- robots.txt检测工具
- ★★★★☆http://tool.motoricerca.info/robots-checker.phtml 一个很好的检测工具，告诉你每段文字的意义及robots.txt的潜在问题
- robots.txt讨论区
- ★★★★★http://www.webmasterworld.com/robots_txt/ （英文）
