处理Scrapy中的旧记录?

时间:2018-04-06 22:31:58

标签: python web-scraping scrapy

我正在从亚马逊的子部分中删除数据。如果我之前废弃了该产品,我希望能够检测到产品何时不再可用。有没有办法处理这样的过时数据?

到目前为止,我能想到的唯一解决方案是完全清除数据并开始报废,但这会导致分配给这些项目的元数据丢失。我能想到的唯一其他解决方案是对两种报废进行临时比较。

1 个答案:

答案 0 :(得分:0)

每次运行后如何存储数据?

您可能会考虑在后续剪贴板上检查是否存在购买按钮,并将该商品上的标记标记为不可用。