同时运行同一个蜘蛛

Question

我正在使用scrapy 0.20和python 2.7

我想问一下，同时运行同一只蜘蛛两次的缺点和优点是什么？

请知道我正在使用管道将结果写入json文件。

由于

Answer 1

我看到的唯一一个同时运行多个蜘蛛实例的应用程序是每个实例都拥有它自己start_urls的一部分。但是每个实例应该在不同的网络接口上运行，否则您无法有效控制同一域的爬网强度。