我正在构建一个从REST API中提取数据然后将更新消息推送到队列的ETL过程。 API不支持增量检测，并使用硬删除来删除数据（记录刚刚消失）。我目前通过将表保留在包含所有记录ID及其CRC的DynamoDB中来检测更改。每当我将每个记录的CRC与存储在DynamoDB中的CRC进行比较时提取API数据，从而检测是否发生了变化。
这允许检测更新/插入但不会检测到删除。是否存在如何在不将整个数据集放入内存的情况下检测硬删除的最佳实践？
我目前正在考虑这个问题： 1.拥有一个Redis / DynamoDB表，其中临时保存最后提取的数据快照 2.数据提取完成后 - 执行反向处理 - 从DynamoDB流式传输数据，与Redis数据集进行比较，以检测缺少的键值
对此有最好的做法/更好的方法吗？