如何将Scrapy的输出保存到文件或数据库中

时间:2017-02-18 14:17:40

标签: python scrapy web-crawler

我正在编写一个脚本,该脚本会转到特定网站并收集信息,在收集信息后,它应将所有信息保存到文件中(如果将其保存到数据库中会更好)。我读过FEED EXPORT和Pipelines,但我是Python和Scrapy的新手,所以我还没有找到解决方案。

有人可以向我解释如何使用Feed Export或Pipelines吗?我阅读了文档,但对我来说并不清楚。到目前为止,这是我的代码:

css-beautify

学习Python对我来说非常有趣,但我对此感到困惑,我真的需要让脚本工作。提前感谢您的任何建议和帮助。

干杯!

2 个答案:

答案 0 :(得分:1)

您应该只能在设置文件中设置FEED_FORMATFEED_URI。你不需要特别麻烦管道。

类似(settings.py)中的内容:

FEED_FORMAT = "csv"
FEED_URI = "./myfile.csv"

答案 1 :(得分:0)

您可以将结果输出到CSV文件。

scrapy crawl nameofspider -o file.csv