运行Scrapy蜘蛛从脚本与scrapy参数

Question

我在scrapy＆amp;我成功地通过python脚本运行它。 问题是，当通过scrapy提示运行蜘蛛时，我们提供了类似“-o ScrapedData.json -t json”的agruments 我想通过python脚本运行“scrapy crawl myspider -o ScrapedData.json -t json ”。 任何帮助都非常感谢。提前谢谢！

Answer 1

• -o ScrapedData.json会覆盖FEED_URI设置
• 和-t json会覆盖FEED_FORMAT设置

（见https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py#L24）

因此，当从脚本运行您的蜘蛛时，您应该看一下覆盖这两个设置。

Answer 2

你的意思是这样吗？

from scrapy import cmdline

cmdline.execute("scrapy crawl myspider -o ScrapedData.json -t json".split())