scrapy突然停止，没有任何错误消息

Question

Python Scrapy：我试图通过他们的api刮掉大网站。它有大约100个主要网址，它将带有子网址。我的代码在4小时内解析了大约一百万，并在没有任何错误消息的情况下停止。我在一个进程中运行了11个线程。