Scrapy深度限制改变自己

Question

我正在使用Scrapy抓取网站。让我们说有150页要抓取，该网站有分页，其中一页给下一页的网址抓取。 现在，我的蜘蛛自行停下来，并带有以下日志：

request_depth_max

DEPTH_LIMIT = 1000000000有时会变成51，现在却是36.但在我的设置中，我将其设为[my_shortcode param1="Parameter 1"]The content here adds br tag here and converts my quotes 'like this' to html but does not touch double quotes "somehow"[/my_shortcode]

我也尝试将DEPTH_LIMIT设置为0，但蜘蛛仍然自行停止，是否有任何我不知道的设置。

Answer 1

统计if let first = person["first"] as? String, age = person["age"] as? Int { print("Your first name is \(first) and you are \(age) years old.") } 不是一个设置，它只是意味着蜘蛛在此次运行中达到的最高深度。

DEPTH_LIMIT defaults to 0等同于无穷大。