当用户发出请求时,我已经写了一些我想在django项目中运行的Scrapy蜘蛛。由于我无法让蜘蛛在一个项目中工作,我将它们分成了自己的项目。我已经能够成功地从bash脚本运行一个蜘蛛,并认为我可以在芹菜任务中运行该脚本。
我看过像this这样的帖子但是那些不使用bash脚本来运行蜘蛛的人我也无法判断他们是否正在运行多个蜘蛛(更不用说此时代码可能已弃用)。这种方法当然只是一个想法,所以我只想找出使用当前版本的scrapy,django和芹菜这样做的正确方法。在bash脚本中单独运行它们是否有意义,还是有另一种方法在芹菜任务中运行多个蜘蛛?我不确定从哪里开始,所以任何帮助都会受到赞赏,谢谢。