start_urls的最大大小是多少

Question

我只是在用scrapy做一个项目。

我将start_urls定义如下：

  start_urls = []
  for i in (1,10):
          for j in (1,10):
                  start_urls.append(base_url + '/' + str(i) + '/' + str(j) )

但由于某些原因，scrapy只会抓取4个抓取链接，而不是所有100个链接。

在这个例子中我只抓取： base_urls / 1/1 base_urls /10分之1 base_urls / 10/1 base_urls / 10/10

为什么？在scrapy中start_urls有限制吗？

Answer 1

不是scrapy问题 (1, 10)中的Python表示包含2个元素1和10的元组。您可能希望改为使用range(1, 10)。

此外，如果您想要100个链接，请使用range(10)（提供0，1，...，9）  或range(1, 11)（提供1，2，...，10）