YodaoBot
天下维客，你可以修改的网络知识库
YodaoBot是网易的搜索引擎之爬虫程序，用于建立搜索引擎网页索引。
目录 |
[编辑]
爬虫信息
- 爬虫名称： YodaoBot
- HTTP User Agent：
Mozilla/5.0 (compatible; YodaoBot/1.0; <a href="http://www.yodao.com/help/webmaster/spider/" class="external free" target="_blank" title="http://www.yodao.com/help/webmaster/spider/" rel="nofollow">http://www.yodao.com/help/webmaster/spider/</a>; )
- 抓取强度： 中等
- 搜索引擎推广效果：差
- 来访IP：60.191.80.221-232
[编辑]
对YodaoBot爬虫进行控制
YodaoBot爬虫能良好的尊在遵循robots.txt抓取规范。
[编辑]
邀请YodaoBot来访
如果你在在robots.txt中限制了部分爬虫，那么你可能需要在robots.txt中增加下述内容：
User-agent: YodaoBot Disallow:
[编辑]
禁止YodaoBot访问
如果你不希望YodaoBot爬虫占用服务器资源，可以这样封锁它：
User-agent: YodaoBot Disallow: /
如果你仅仅不希望YodaoBot爬行某些目录，则可以这样：
User-agent: YodaoBot Disallow: /somedir/
[编辑]
参考资料
- 官方网站
- http://www.yodao.com/help/webmaster/spider/ 关于YodaoBot项目的官方信息
- 相关条目
- 搜索引擎收录 - 网站登录 - SiteMaps - 网站推广
- 网络爬虫 - 搜索引擎爬虫程序一览表
- robots.txt（爬虫屏蔽规范） - Meta robots标签（nofollow/noindex） - nocontent
- 外部链接
| 常见爬虫的特性 | GoogleBot | Mediapartners | Yahoo! Slurp | Yahoo! Slurp China | YodaoBot |
| 爬虫程序 | ia_archiver | iask | iearthworm | DigExt | Indy Library |
| 网络爬虫的名称 | 爬虫程序的屏蔽 | .htaccess | robots.txt | 更多爬虫 |
