Zac老师,您好,我们网站是织梦的,收录有3万多。日志分析百度蜘蛛每天访问次数1739,抓取量2556。
1.其中304状态的百度蜘蛛抓取量有300左右。这样是不是不好?
2.另外还有404状态的百度蜘蛛抓取量150左右,看了404的页面有/plus/md5.php、/www.root.rar等都是从来没有出现过的页面。这是怎么回事,是否也影响优化?
1 个回答
304状态码是说页面从上次抓取后没有变化,所以浏览器或蜘蛛用以前的缓存就可以了,所以并没有返回页面html代码。如果这些页面已经被收录了,而且也确实没有任何变化,那么304没关系。如果页面并没有被收录,或者其实是有更新的,那么304就是错误的,会使搜索引擎蜘蛛抓取不到页面比如。所以需要检查返回304码的页面到底是什么情况。
404状态码是页面不存在。日志中经常会出现不存在的页面被访问,不过通常不是搜索引擎蜘蛛访问,是有人在试图扫描网站漏洞,看看特定位置是否有特定文件,所以URL是挺规则的,就是某些CMS应该有的文件,而不是莫名其妙的错误,比如URL被截断了。如果是百度蜘蛛访问这些URL,我很少看到,可能是这些URL在什么对方出现过,被百度发现了,可能是自己网站,可能是其他网站,可以搜索一下这些URL。
404通常不会有什么问题,只要别太多,太多的话搜索引擎可能觉得网站是不是已经没人维护了,因此降低信任度。
你的回答