Google网站地图(sitemap)是Google提供给网站管理员的一个工具,来提高网站被收录的网页数目。
一般来说,搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候,由于种种原因,并不是所有网页都能被收录进搜索引擎数据库。比如说,你的网站是数据库动态生成的,URL中带有参数,一些网页离主页太远,你的网站PR值太低,新的网页可能过很长时间才有机会被抓取等等。
Google Sitemap就允许站长上传给Google一个网站地图,列出你所有需要被抓取的网页及重要性级别。据很多人证实,Google网站地图确实能提高被Google收录的网页数目,而且似乎Google每天都会抓取sitemap的内容。
所以如果你有新的网页,或你的网站内容更新比较快,Google网站地图是一个很好的通知Google的工具。
不过我在这里想和大家分享几个Google Sitemap用于搜索引擎优化的心得。
第一,像前面说的,当然最重要的是,使你的网页被收录的越多越好。因为我的网站没有收录问题,所以我也没有提交网站地图。但据朋友说,这个功能确实很好用。如果你的网站有很多网页没有被收录的话,应该试一下。
第二,在Google网站地图管理界面中,你可以看到Google是否惩罚了你的网站。像在以前提到的,Google会通知一部分被惩罚的网站站长。我感觉这是一个最重要的必须要使用Google Sitemaps的原因。虽然这个功能最好永远用不上。
第三,Google网站地图管理界面Diagnostic(诊断)部分,你的网站在被抓取的时候,如果有什么问题都会被列出来。比如说URL错误,404错误,服务器宕机等等。在HTTP错误中,可以看到有哪些URL是有问题的,这样可以及时解决网站上的技术问题。
第四,Diagnostic部分也提供了一个robots.txt文件检测工具。很多时候我们不希望搜索引擎来抓取某些目录或某些文件,用robots.txt文件是一个标准方法。但如果这个文件写的有问题,可能会造成搜索引擎完全不能爬行你的网站。你可以用这个Google Sitemaps检测工具测试某一个目录或某一个文件是否被排除在搜索引擎之外。
第五,在Google网站地图Statistic(统计资料)部分,有很多非常有用的信息。
比如搜索统计(query stats)。Google会列出用户在找到你的网站时,使用的是什么关键词。在这个关键词下,你排名第几(top search queries)。在这个关键词下,你又得到了多少点击(top search query clicks)。虽然你可以从服务器日志文件中得到同样的资料,但Google在他的界面中,已经非常清楚的列出了这些信息,非常好用。
你可以从关键词统计信息中,清楚的看到你的目标关键词表现怎么样,你的标题标签写的怎么样。
第六,我觉得最重要的一个统计信息就是这一点,在网页分析统计(page analysis)栏目下,Google列出了Google所认为的你的网站与哪些关键词最有关(In your site’s content)。同时列出了在Google的数据库里面,你的反向链接都是使用哪些关键词做链接文字的(In external links to your site)。
左栏In your site’s content是在Google眼中,你的网站是谈论什么的,你的网站主题是什么。如果Google列出的这些关键词与你真正的网站主题有所偏离的话,很显然你需要修改你的网站内容,重写网站文字。
举个例子,对我的博客来说,Google列出的关键词是:网站,Google,搜索引擎,网页,排名,优化,链接,SEO,研究,等等。当然后面也列出了一些不太相关的,比如爸爸,这和中文分词的不准确有关。因为我的博客里从来没谈爸爸,而是在谈大爸爸数据中心。不过无论如何,这个信息非常重要。
而右栏In external links to your site显示在Google数据库中,反向链接所使用的链接文字。 我们都知道反向链接是Google排名和所有搜索引擎排名算法中非常重要的一环。而链接文字从两年前开始,变得越来越重要了。从Google所列出的外部链接的情况,你可以知道其他网站是怎样链接到你的网站的。而这些链接文字所形成的主题在很大程度上影响Google所认为的你的网站的主题。
比如说,我的这个博客的反向链接所出现的链接文字最多的是:SEO每天一帖,Google,搜索,虚拟主机,域名注册,电子邮件。很明显很少其他网站用”搜索引擎优化”来链接向我的博客。这也就难怪在 Google中,如果你搜索搜索引擎优化,我的这个博客目前根本找不到。
一般来说,你应该尽可能的使其他网站使用你最重要的关键词来链接向你。Google列出了你的链接当前效果怎么样,你也就知道了应该努力的方向。
网页分析统计(page analysis)是我觉得Google网站地图最有用最有意义的。
请问一个sitemap里面最多更包含多少个链接?
5万个。文件最大10M。
请教:
搜索反馈回来一些404(无法找到)是否和网站上没有 robots.txt 文件有关?网站没有需要谢绝访问内容的情况下,是否也要放个空的 robots.txt ?
还有,传给google的sitemap需要定期更新吗?还是传一次就可以?
Zac:你好!有个问题请教,请问如果自动生成的sitemap里面有好多404的页面,如:十几万的页面里面有几千404的页面,google会因为有这些404页面而惩罚整个网站吗?会不会对网站的排有影响?
jason: 应该和robots.txt 文件没关系,不用放空的robots.txt,当然放也无妨。如果你的站没变化,传给google的sitemaps不用动,如果加了新页当然要更新。
Kyle: 不会惩罚整个网站,但可能有其他影响比如复制内容。
Zac:你好!如果一个大网站,比较成熟的,而且PR是7,收录的内容也不少.像这样的网站你认为还有必要做sitemaps吗?
如:www.esmchina.com
谢谢站长!
是的,我也注意到很多大的网站好像并没有做sitemap.xml,不知道为什么。是不需要吗?
Sitemap如果我只写几个主要的一级页面进去回影响到我其他页面的收录么?
链接中有错误,有什么影响?
我的网站经常有404错误.:(….
问一个不专业的问题,google站点地图,只是针对google的爬虫吧,如果想让百度的爬虫也完全收录自己网站的内容,这个google sitemap就没用了吧???
Dear Zac:感謝提供許多寶貴的經驗,想請教,第四,Diagnostic部分也提供了一个robots.txt文件检测工具….的部份,提及若文件有問題,可能造成搜索引擎完全不能爬行網站!現在我遇到了這個問題,robots.txt 是依標準形式撰寫,但自從Google下載robots.txt之後,就停止檢索我的網站,提交Sitemaps時,也出現了「無法存取 robots.txt 」,網頁檢索錯誤中的「無法連上的 URL」數目持續增加!
我使用robots.txt文件检测工具,檢測無法連上的 URL的目錄與檔案是完全正常且允許,重新修改robots.txt,隔了很多天,搜索引擎也完全不能爬行網站,即使刪除了很多天,使用Google Sitemaps检测工具测试,仍然出現「無法存取 robots.txt 」,不知道站長有沒有什麼建議?非常感謝您!
cllife: robots.txt文件名和权限有没有什么问题?
……用了GOOGLE SITEMAP后收录不但没增加 还有下滑的趋势 =。=“`
….用了GOOGLE 网站管理 怎么我的Sitemaps还是没有 说的我的网站还是有对计算机有危害
Zac:你好!如果一个论坛,内容不少.像这样的网站你认为还有必要做sitemaps吗?
如:bbs.2tjk.com
我提交了网站地图,google警告说优先级错误,以前都可以的..请问博主这是什么原因?
我在ftp上放了.htaccess文件,里面放了一条404跳转代码,上传google验证文件,竞然验证失败,拿掉.404跳转,验证成功…空间是支持.htaccess文件的…郁闷啊….
如果网站上有多个子域该怎么处理?可以在主站的SITEMAP上上把子域放进去吗?GOOGLE会不会把子域当作外站从而受到影响?还是要分开每个域做一个sitemap?
这个功能不用是最好的,表明你的网站收录没有问题,说的太好了!
我提交了网站地图,google警告说优先级错误,以前都可以的..请问博主这是什么原因?
是的,我也注意到很多大的网站好像并没有做sitemap.xml,不知道为什么。是不需要吗?
好像分析作用更大于优化作用
我提交了网站地图,google警告说优先级错误,以前都可以的..请问博主这是什么原因?
谢谢你的文章。对于我这样一个开发网站的外行来说,这篇文章的信息帮了我的大忙。
大家一般是用什么软件来制作google sitemap?
能否推荐个好用的?
google地图好用有效率!
谷歌没弄 都是百度
提交了1000多个只收录了其中10个链接,还是再等等会收录?
我们更新了sitemap, 可是依旧抓取的404 错误(找不到),这些是下架的产品呀, 从网站后台已经删除掉了, google还是列出来了,怎么回事呀
只有抓取一部分连接,有的连接抓取不了