怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环

SEO问答 › 类别: 抓取和收录 › 怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环
宇航 提问于 2 年 之前

我在《seo实战密码》第四版中的案例部分看到了这么一句话：查看网站日志时，发现搜索引擎蜘蛛在爬行某类url时似乎陷入无限循环，根本没时间爬行其他url。
我想请教：怎么看搜索引擎蜘蛛在爬取url的时候，陷入了无限循环，是有什么特征吗？

4 个回答
Zac 管理员 回答于 2 年 之前

这是个好问题。
 
我过两天写个博客帖子回答。

了凡四训 回答于 2 年 之前

请问帖子写了吗？

Zac 管理员 回复于 11 月 之前

抱歉，还没写呢，老了，精力大减。简单说，查看原始日志，如果发现，1）蜘蛛连续抓取动态URL，只改变参数立即继续抓，而且参数是很少用户会选的：2）这类动态URL抓取量占比高，如产品只有几万个，筛选动态URL每个月被抓几十完，这说明大概率陷入循环了。

MCU维修 回答于 1 年 之前

从技术角度而言是没有结束符

腾博 回答于 1 年 之前

无限循环不可能这样的
 

你的回答

3 + 6 =