为什么运行特定的蜘蛛不起作用(但运行所有蜘蛛)

时间:2020-03-06 11:56:29

标签: scrapy

我创建了一个抓抓项目,并希望有两个单独的蜘蛛(具有两个不同的名称): 1

我正在尝试仅使用命令scrapy crawlnamethespider运行“ listing_enseigne.py”蜘蛛,但似乎该命令也运行了另一个蜘蛛(来自文件“ detail_enseigne.py”)...

但是,在查看草率文档时,似乎此命令应仅运行名为蜘蛛的蜘蛛。

如果有人可以帮助我..谢谢!

编辑1: 确实,scrapy不会同时运行它们,但是它将在实际蜘蛛之前运行的所有蜘蛛中执行所有代码(感谢wishmaster的回答)。 那时候我真的不太明白如何组织蜘蛛。 我想拥有第一个Spider来从网站收集URL(实际上,第一个Spider应该导出包含多个包含URL信息的csv文件)。 然后,我想要第二个蜘蛛从导出文件夹中找到最新文件,从该最新文件中收集所有URL,然后解析此URL以收集其他信息...

0 个答案:

没有答案