Twiceler

页面分类: 爬虫程序

天下维客，你可以修改的网络知识库

twiceler是一个爬虫程序，据说是美国斯坦福大学研究搜索引擎的一个学生项目。

爬虫信息

• 爬虫名称：Twiceler
• HTTP User Agent：

Mozilla/5.0 (Twiceler-0.9 <a href="http://www.cuill.com/twiceler/robot.html" class="external free" target="_blank" title="http://www.cuill.com/twiceler/robot.html" rel="nofollow">http://www.cuill.com/twiceler/robot.html</a>)

• 抓取强度：高
• 推广效果：未知
• 来访IP：38.99.13.122 64.1.215.164 （均为美国IP）

禁止twiceler访问

twiceler是一个中低强度的爬虫，遵循robots.txt爬行标准。如果你觉得它占用了服务器资源，可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt，包含以下内容：

User-agent: twiceler
Disallow: / 

上面在全站之内禁止twiceler爬行。或者禁止爬行某个目录：

User-agent: twiceler
Disallow: /somedir/

相关资料

官方页面

http://www.cuill.com/twiceler/robot.html

相关条目

网络爬虫 - 搜索引擎爬虫程序一览表 - robots.txt（爬虫屏蔽规范）

外部链接

关于twiceler的资料