我将抓取的内容存储在一个csv文件中。 每行包含一个唯一的ID和项目说明。
我的ID来自我在其中刮刮内容的网站,而不是在刮刮器一侧生成的。
我使用Scrapy的feedExporter生成csv文件
当我再次抓取网站时,我希望脚本检查csv文件中是否已经存储了唯一ID,如果不是,我将添加新行,如果是,我将继续进行下一项
由于我认为这是使用抓取框架进行的经典操作,我相信必须有一种聪明的方法来使用Scrapy进行此操作,但是我在Scrapy的文档中找不到关于此主题的任何内容
我应该简单地打开csv文件,仔细检查每个项目,如果不存在迭代器的值,则添加新行,或者跳过新行?