运行scrapy spider后设置/配置输出文件

时间:2014-02-19 05:50:06

标签: python json scrapy

我可以从脚本中运行scrapy spider。但我想将输出存储在json格式的特定文件(例如output.json)中。我做了很多研究和研究。也试图覆盖FEED_URI&来自设置的FEED_FORMAT。我也试过使用JsonItemExporter函数但都是徒劳的。任何帮助将不胜感激。谢谢!

2 个答案:

答案 0 :(得分:2)

我认为你应该使用scrapy crawl yourspider -o output.json -t json

其中-o输出文件名和-t输出格式。

答案 1 :(得分:0)

使用以下任一命令

scrapy crawl yourspidername --set FEED_URI=output.json --set FEED_FORMAT=json

scrapy crawl yourspidername -o output.json -t json