allwiki首页  
天下维客 你可以修改的网络知识库
首页最近更改优秀条目专题展示电脑科技词典软件学习网络知识电脑安全明星时尚天下百科
 

Ia archiver

天下维客,你可以修改的网络知识库

Jump to: navigation, search

ia_archiveralexa.com的一个爬虫程序,用于检测网站是否做了alexa排名的作弊。

ia_archiver程序会自动在互联网上爬行,刺探每个Web页面的流量信息。尤其是当某个网站的流量超过Alexa设定的阈值时,IA_Archiver就会马上爬到该网站的服务器上,分析此网站的流量是否正常,有没有作弊行为。

邀请ia_arhiver来访

如果对alexa排名感兴趣,到这个网址登录一下即可:http://www.alexa.com/site/help/webmasters

想要更好的排名,可以安装alexa工具条

禁止ia_archiver访问

ia_archiver是一个中等强度的爬虫。如果你觉得它占用了过多的服务器资源,同时不关心网站alexa排名的话,可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt,包含以下内容:

User-agent: ia_archiver
Disallow: / 

上面在全站之内禁止ia_archiver爬行。或者禁止爬行某个目录:

User-agent: ia_archiver
Disallow: /somedir/

相关资料

官方页面
http://www.alexa.com/site/help/webmasters (ia_archiver的介绍和邀请访问页面)
相关条目
alexa - 网站排名 - alexa工具条
网络爬虫 - 搜索引擎爬虫程序一览表 - robots.txt
外部链接
alexa专题介绍
常见爬虫的特性 GoogleBot Mediapartners Yahoo! Slurp Yahoo! Slurp China YodaoBot
爬虫程序 ia_archiver iask iearthworm DigExt Indy Library
网络爬虫的名称 爬虫程序的屏蔽 .htaccess robots.txt 更多爬虫
Personal tools
工具