Ia archiver
天下维客,你可以修改的网络知识库
ia_archiver是alexa.com的一个爬虫程序,用于检测网站是否做了alexa排名的作弊。
ia_archiver程序会自动在互联网上爬行,刺探每个Web页面的流量信息。尤其是当某个网站的流量超过Alexa设定的阈值时,IA_Archiver就会马上爬到该网站的服务器上,分析此网站的流量是否正常,有没有作弊行为。
[编辑]
邀请ia_arhiver来访
如果对alexa排名感兴趣,到这个网址登录一下即可:http://www.alexa.com/site/help/webmasters
想要更好的排名,可以安装alexa工具条。
[编辑]
禁止ia_archiver访问
ia_archiver是一个中等强度的爬虫。如果你觉得它占用了过多的服务器资源,同时不关心网站alexa排名的话,可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt,包含以下内容:
User-agent: ia_archiver Disallow: /
上面在全站之内禁止ia_archiver爬行。或者禁止爬行某个目录:
User-agent: ia_archiver Disallow: /somedir/
[编辑]
相关资料
- 官方页面
- http://www.alexa.com/site/help/webmasters (ia_archiver的介绍和邀请访问页面)
- 相关条目
- alexa - 网站排名 - alexa工具条
- 网络爬虫 - 搜索引擎爬虫程序一览表 - robots.txt
- 外部链接
- alexa专题介绍
| 常见爬虫的特性 | GoogleBot | Mediapartners | Yahoo! Slurp | Yahoo! Slurp China | YodaoBot |
| 爬虫程序 | ia_archiver | iask | iearthworm | DigExt | Indy Library |
| 网络爬虫的名称 | 爬虫程序的屏蔽 | .htaccess | robots.txt | 更多爬虫 |

