每次抓取后如何阻止scrapy覆盖CSV导出文件

时间:2012-07-19 16:48:08

标签: python scrapy

目前,我使用scrapy抓取网页的多个页面并将数据导出到CSV文件。每天,蜘蛛爬过页面并保存数据;但是,它会写入前几天的数据。我想知道如何编写管道,以便它只是在文件末尾的同一文件中写入CSV。通过这种方式,我可以将以前的所有抓取数据保存在一个位置。

1 个答案:

答案 0 :(得分:0)

通常只是更改打开文件例程中的参数以追加

变化

f = open('filename.txt','w')

f = open('filename.txt','a')

当然,如果我们能够看到您的原始代码,那将有助于我们更具体。