标签： python multithreading scrapy
如何在Scrapy（python）中设置Thread Poolsize？
答案 0 :(得分：5)
由于Scrapy不使用多个线程而是使用名为Twisted的底层异步http框架，您必须谈论一次可以运行多少个蜘蛛？请参阅CONCURRENT_REQUESTS文档。 默认值：16