Mediapartners-Google

页面分类: Google爬虫程序

天下维客，你可以修改的网络知识库

Mediapartners是一个google爬虫程序，用于进行Google AdSense广告的内容匹配。

Mediapartners的工作原理

当挂有Google AdSense广告的网页被访问后，Mediapartner爬虫就会来访。

• 首次访问：抓取网页进行分析（可能是关键字统计），确定此网页的大致领域，并确定匹配广告类型。

此后用户再访问该网页时，就会有看到匹配的广告。

• 后续访问：检查网页变化，修正广告投放。

Mediapartners的作用

进行内容-广告匹配

如前所述，略。

进行网页作弊检查

google有多个爬虫程序，Mediaparterners是其中之一。当这些Google爬虫程序取得的页面内容不一致时，Google可能会启动作弊检查。

加速网页收录

从2007年开始，google对其爬虫程序进行了综合优化，从而减少了对网站服务器的抓取压力。

Mediapartners也兼任了网页抓取的功能，使得投放Google AdSense广告的网页能更好的收录。由于普通googlebot访问范围受到爬行深度限制，而Mediapartner与此机制不同，所以对网页收录具有补充作用。具体机制不详，不清楚为直接收录或是报告给其他爬虫进行收录操作。

爬虫信息

• 爬虫名称： Mediapartners 或 Mediabot
• 爬行强度： 中低
• HTTP User Agent：

Mediapartners-Google/2.1

• 来访IP：202.75.28.123/125/186/188 66.249.66.35-50 66.249.70.162-204

对Mediapartner爬虫进行控制

Mediapartner爬虫遵循robots.txt规范。

允许Mediapartners来访

如果你正在做Google AdSense广告，并且在robots.txt中限制了部分爬虫，那么你可能需要在robots.txt中增加下述内容：

User-agent: Mediapartners-Google* 
Disallow:

禁止Mediapartners访问

如果你不做Google AdSense广告，可以这样封锁Mediapartners爬虫：

User-agent: Mediapartners
Disallow: / 

如果你仅仅不希望Mediapartners爬行某些目录，则可以这样：

User-agent: Mediapartners
Disallow: /somedir/

参考资料

相关条目

Google AdSense：google的内容相关广告

网络爬虫 - 搜索引擎爬虫程序一览表 - robots.txt（爬虫屏蔽规范）

外部链接

• https://www.google.com/adsense/support/bin/answer.py?answer=10532&topic=159 关于mediapartners的官方信息
• http://www.gooot.com/community/txt/Mediapartners_Google_2_1_Adsense_821.html Google AdSense爬虫的工作模式
• http://www.seobbs.net/read.php?tid=113 Google AdSense相关知识