scrapy有一种方法可以在不使用-o -t参数的情况下打印json文件

时间:2014-02-21 11:37:18

标签: python json python-2.7 scrapy

我经常这样叫我的蜘蛛:

scrapy crawl Spider -o fileName -t json

我在fileName文件中打印的正确数据为json格式化。

现在我想像这样打电话给我的蜘蛛:

scrapy crawl Spider

我的问题

有没有办法在不使用-o -t参数的情况下将输出打印到文件中?

1 个答案:

答案 0 :(得分:6)

是的,可以做到。将其添加到您的设置

FEED_EXPORTERS = {
 'jsonlines': 'scrapy.contrib.exporter.JsonLinesItemExporter',
}
FEED_FORMAT = 'jsonlines'
FEED_URI = "NAME_OF_FILE.json"

供参考

http://doc.scrapy.org/en/latest/topics/feed-exports.html