通过脚本＆amp;运行Scrapy蜘蛛配置输出文件的设置

Question

我在scrapy＆amp;在python脚本中运行它（不是scrapy cmd提示符）。 我想配置设置，以便在特定文件中获取Scrapped数据（比如output.json）。

如果我在提示符上运行以下命令，我可以得到结果：“scrapy crawl myspider -o scrapedData.json -t json”

但我希望通过运行脚本而不是通过cmdline工具来获得相同的输出。

感谢您的帮助！

Answer 1

settings = get_project_settings()
settings.overrides['FEED_URI'] = 'dealsOutput.json'
settings.overrides['FEED_FORMAT'] = 'json'

spider = dealsSpider()
crawler = Crawler(settings)

我通过查看此代码找到了：https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py#L34