网站上线三个多月了,上线前就做了伪静态,目前被收录近万的页面都是伪静态地址,线上没有动态地址的入口,为什么网站日志里抓取的全部都是动态地址呢?
3 个回答
如果搜索引擎蜘蛛没有在什么地方看到动态网址,蜘蛛不会把静态URL改写成动态的,搜索引擎无法知道页面是动态的还是静态的,即使猜测是动态改写成静态的,它也不知道对应的动态URL是什么样的。所以蜘蛛一定是在什么地方读到了动态网址。
可能是网站上你没注意的什么地方出现了动态URL,或者服务器由于某种原因,静态URL会被自动改写、转向为动态URL,或者服务器日志自动匹配为动态URL?
这个要具体看,宽泛的有很多原因可能会造成这种情况。
在js调用动态地址,是可能会被蜘蛛识别到的。
或者非SEO人员做了动态地址的外链。
或者些其它原因,比如你伪静态地址的实现方式。
…
一般很多大型的网站会出现这类问题,特别是上几十万页面的网站,这说明你的动态URL没有处理完成,不够全面! 列举几个:
1、网站地图动态地址更换成伪静态地址,是否做了?(包括txt+xml+html格式的sitemap都检查下)
2、产品列表页面动态地址是否完善了?
3、搜索结果页是否做了? 如果都做了,恭喜您没有了哈哈。。
你的回答
用robots.txt禁止抓取呢