为什么Scrapy的设计默认只能运行蜘蛛

Question

我是python中的新手。我想在互联网上使用Scrapy抓取消息，我设计了两只蜘蛛，但我只能运行一只蜘蛛。虽然我已经通过互联网寻找方法解决了这个问题，但是一次蜘蛛停止我所有的蜘蛛停止，我怎么能让蜘蛛相互独立？

Answer 1

Write-Progress

Answer 2

出于此目的，您可能希望使用例如Scrapyd，可让您安排多个蜘蛛并行运行。如果您有更苛刻的用例，您可以构建自己的抓取基础架构，包括设置多个Scrapyd服务器。