当没有足够的资源时，scrapy的行为如何

Question

我正在使用自动化过程的命令行运行多个刮板。

Python：2.7.12
Scrapy：1.4.0
操作系统：Ubuntu 16.04.4 LTS

我想知道

1. 没有足够的内存/ cpu带宽来启动刮板。
2. 刮板运行期间内存/ cpu带宽不足。

我已经阅读了文档，但是找不到任何东西。

任何回答此问题的人，都不必知道正确的答案，如果您可以向我指出您所知道的任何资源的大致方向，那将是有帮助的，那也将不胜感激 < / p>

Answer 1

操作系统杀死所有试图访问超出限制的内存的进程。 也适用于python程序。和刮y一样。

带宽经常是抓取/抓取应用程序的瓶颈。

仅当您的应用程序中存在严重的内存泄漏时，内存才会成为瓶颈。

如果同一台计算机上的许多进程共享CPU，您的应用程序将非常慢。