荷兰爬行深度，topn的影响

Question

我一直想知道深度和topn对于荷兰爬行的影响是什么？例如，假设深度为100且topn为10000可确保完全爬行，将深度更改为1000会影响爬行所需的时间吗？因此，要抓取一个不熟悉的网站，是否可以给出任意大的深度和topn？

感谢您的帮助，

Ananth。

Answer 1

depth是root的跳数，topn是每个级别中获取的最大链接。所以AFAIK通过增加深度肯定会增加爬行时间。将深度从100改为1000应该会大大增加爬行时间。