通过Scrapy存储Scraped数据

Question

如何将整个抓取的数据存储在文件中？例如：数据被抓取为[u\ 7564.2021]，但json文件中存储的数据仅为[

哪里出错了？

Answer 1

我找到了这个帖子，因为我使用scrapy命令行导出选项（在scrapy 0.15.1概述：http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data中找到了这个问题），“scrapy crawl mininova.org -o scraped_data.json -t” JSON”。

您必须首先确保实际从网站上删除数据（我是通过将已删除的项目直接打印到控制台窗口来实现的。）

还要确保您的蜘蛛的解析方法实际上返回了已删除的项目。这是我犯的愚蠢错误。

如果没有更多信息或代码，很难说更多。我是Python的新手并且自己进行scrapy，并且正在处理有时令人困惑的文档和示例。希望你在过去几个月没有放弃这个项目;否则我会为未来的googlers发帖。