Google Adsense蜘蛛抓取的网页在搜索中出现

前两天Matt Cutts刚刚证实,Google Adsense蜘蛛(Mediapartner bot)所抓取的网页会在Google搜索中出现。Matt Cutts说这只是一个节省带宽开支的手段而已。

由于Google蜘蛛(Googlebot/2.1)所抓取的网站之多和频率之紧密,他们每天需要使用的带宽是巨量的。把Adsense蜘蛛所抓取的网站内容考虑进主搜索引擎中,一定会节省大量的带宽开支。

实际上很多人一直以来都怀疑,Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之间的关系到底是什么?使用Adsense的网站会不会因此更快的被收录到Google搜索数据库?会不会因为使用Adsense而提高或降低搜索排名?

在Google的官方网站中,他们明确指出,Adsense蜘蛛与搜索蜘蛛是完全分开的,而且Adsense的使用完全不影响网站排名,这两者之间毫无关系。而且在Google内部,这两个产品是由完全不同的两个部门来处理的。他们之间并不交换任何资料。

但最近有迹象表明,Adsense蜘蛛所抓取的网页结果出现在搜索结果中。比如Jen注意到,在搜索结果中出现的网页快照时间与服务器日志文件中Adsense蜘蛛访问的时间完全吻合,而不是Google搜索蜘蛛访问的时间。

还有人在网页上检测访问的是不是Adsense蜘蛛,如果是Adsense蜘蛛,就会返回一个改写过的网页。结果发现,在搜索引擎当中网页出现了两个版本。也就是说,搜索蜘蛛和Adsense蜘蛛的网页结果都出现在搜索结果中,造成了复制网页。

我自己以前也注意到,Adsense蜘蛛至少对网页收录有影响。记得有一次在做一个全新网站的时候,我从其他网站上直接复制代码到新网页。这段代码里含有Adsense码,我忘了删除。新网站设计好后,我上传网页,然后自己看了一下,当然Adsense广告也出现在网页上。随后我把Adsense码删除掉。

这个新的网站没有任何导入链接,我也没有向任何地方登录,完全是一个试验性质的网站。但不久,网页结果出现在Google搜索中。

Google Adsense蜘蛛所抓取的网页会出现在Google搜索结果中,对网站建设者有什么影响呢?第一,我想给我们的最重要的暗示是:千万不要试图使用隐藏网页技术(cloaking),也就是当Google蜘蛛来访问时,给它经过优化的版本,当普通访客来访时,给他另外一个版本。Google完全可以发出没有Google标志的蜘蛛来检测这种手段。

实际上,Google Adsense蜘蛛的标志和搜索蜘蛛就不一样。如果你给这两个蜘蛛不同的网页内容,你的网站就会造成复制内容网页,从而排名被惩罚。

第二: Google Adsense蜘蛛对排名是否真的没有影响,我们需要做更多的测试才能肯定。

------首次发布日期: 2006年04月27日

作者: Zac
版权属于: SEO每天一贴
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。



19 条评论 “Google Adsense蜘蛛抓取的网页在搜索中出现

  1. AdSense 抓取工具不同于 Google 抓取工具
    这两种抓取工具相互独立,但却共用一个缓存。我们这样做是为了避免两种抓取工具抓取相同的网页,从而帮助发布商节约带宽。同样,Sitemaps 抓取工具也是独立的。

    GG帮助中明确说了是共用缓存的,所以adsense抓取的网页是会出现在搜索结果中的!

留个言呗:

您的邮箱不会被显示在页面上。标有*的是必填项。