在部署spider scrapyd python之后,数据存储在哪里?

时间:2014-11-22 19:35:21

标签: web-scraping scrapy scrapyd

我在http://localhost:6800/成功时部署并安排了我的蜘蛛,但项目存储的数据在哪里?我怎么能得到它们?

非常感谢!

2 个答案:

答案 0 :(得分:1)

您应该在process_item()处理它而不是由scrapyd处理。因为scrapyd只记录项目,除了日志文件之外,存储数据的方式没有区别。您可以在scrapyd的文档中找到它。

答案 1 :(得分:0)

在scrapyd中,您必须在scrapyd.conf文件中定义项目目录,有关详细信息,请查看scrapyd文档scrapyd.conf