目前,我使用scrapy抓取网页的多个页面并将数据导出到CSV文件。每天,蜘蛛爬过页面并保存数据;但是,它会写入前几天的数据。我想知道如何编写管道,以便它只是在文件末尾的同一文件中写入CSV。通过这种方式,我可以将以前的所有抓取数据保存在一个位置。
答案 0 :(得分:0)
通常只是更改打开文件例程中的参数以追加
变化
f = open('filename.txt','w')
到
f = open('filename.txt','a')
当然,如果我们能够看到您的原始代码,那将有助于我们更具体。