scrapinghub开始工作太慢

Question

我是新手，我在scrapinghub上从事不同的工作。我通过他们的API运行它们。问题在于启动蜘蛛并初始化它需要太多的时间（例如30秒）。当我在本地运行它时，完成蜘蛛最多需要5秒钟。但是在scrapinghub中需要2:30分钟。我知道在所有请求完成后关闭Spider需要花费更多时间，但这不是问题。无论如何，我的问题是，从我调用API来开始工作的那一刻起（我发现它立即出现在正在运行的工作中，但是花了太长时间才发出第一个请求），并且在第一个请求完成之后，我必须等待太多。知道如何使它在本地一样短的使用寿命吗？谢谢！

我已经尝试过将AUTOTHROTTLE_ENABLED = false设为，就像我在关于stackoverflow的其他问题中看到的那样。

Answer 1

根据scrapy cloud docs：
Scrapy Cloud作业在容器中运行。这些容器的大小可以由Scrapy Cloud单位定义。

Scrapy Cloud提供：1 GB RAM，2.5GB磁盘空间，1x CPU和1个并发爬网插槽。

作业可用的资源与分配的单位数成正比。
这意味着分配更多的Scrapy Cloud单元可以解决您的问题。