示例scrapy feed_export到FTP站点需要

时间:2014-04-24 07:56:00

标签: python json ftp scrapy

我有一个简单的scrapy项目,它解析一个站点并在本地生成一个JSON文件(使用命令行)。我想通过将JSON磁贴导出到FTP站点来增强项目,看过Scrapy Doc和各种论坛,我知道这是用FEED_EXPORT完成的,但我不知道从哪里开始。

有没有人有我可以关注的示例或教程?

1 个答案:

答案 0 :(得分:0)

试试这个例子:

scrapy crawl spidername --set FEED_URI=ftp://user:pass@ftp.example.com/path/to/export.csv

您还可以在设置文件中设置FEED_URI

FEED_URI="ftp://user:pass@ftp.example.com/path/to/export.csv"