每天运行Scrapy并跟踪数据的变化

Question

所以我用Scrapy编写了我的第一个刮刀，我在接下来的步骤中遇到了一些麻烦。我想每天运行刮刀，可能是用cron，并跟踪我刮过的值的变化。当我导出到json或csv文件，然后再次运行刮刀时，新数据将被转储到同一个文件中。有没有办法让每个scrape导出到一个单独的文件？任何见解都会很棒，谢谢！

Answer 1

使用-o

告诉scrapy要写入的文件的名称

$ scrapy crawl -h | grep output=
--output=FILE, -o FILE  dump scraped items into FILE (use - for stdout)

您可以使用当前日期作为文件名，如：

$ scrapy crawl <spider-name> -t json/csv -o $(date '+%Y-%m-%d')