如何设置我的scraper以使用脚本或exe运行多个蜘蛛？

Question

我进入了我的第三个scrapy项目，我变得更加大胆了。 我想将此程序提供给非技术用户，因此要么是cmd行，要么是.exe

首先，我开始使用Crawler.Process，使用我提出的文档：

process = CrawlerProcess()
process.crawl(FirstSpider)
process.crawl(SecondSpider)
process.crawl(ThirdSpider)
process.crawl(LastSpider)
process.start()

每个蜘蛛都在自己的.py文件中，所以我将每个蜘蛛都导入到一个蜘蛛中并将这个代码块放在底部，如果有更好的方式我就是全部的耳朵。

我尝试按原样运行，在命令对话框中，它返回一个错误，说当我尝试导入其他蜘蛛时，scraper.list不存在。

我可以使用VS代码终端使用典型的scrapy crawl xyz从文件中运行每个scraper ...那么我们如何为最终用户包装它？

提前致谢。

Answer 1

感谢Furas，我为遗漏道歉，最后解决了我自己的问题。脚本在文件结构中太深了，我不得不进一步向上移动。它无法读取Scraper.items文件夹内容，因为它没有向上移动然后返回文件路径。

我几乎完成了这个项目，但我在出口商方面遇到了麻烦，我在这里发布了这个问题： Using Scrapy JsonItemsLinesExporter, returns no value