Scrapy - 为抓取数据添加唯一ID

Question

我每天都在使用Scrapy抓取产品清单，但产品没有唯一的ID号。因此，我尝试在CSV文件中手动分配1,2,3,4，但这不起作用，因为产品从1更改为5，例如，如果站点更改。当我上传到我的数据库时，您是否有任何其他解决方案，您可以这样认为产品不会重复？ 另外，有没有办法让Scrapy自动添加1,2,3,4？ 欢呼声。

Answer 1

如果您在Scrapinghub Cloud上运行，则可以在运行时调用API以获取最新的作业ID，并且该ID对于该作业将是唯一的。