数据源[MySQL]与数据仓库的数据完整性

Question

我们正在构建一个将MySQL二进制日志发送到kinesis流以馈送数据仓库的过程。关于如何在源[MySQL]和数据仓库之间有效进行数据验证的任何建议，以检测是否有数据丢失。

这里的挑战是某些表没有可靠的时间戳，因此在给定的时间窗口进行查询非常棘手。

我们有一些想法：

1. 主键的SUM / MAX / MIN
2. 对每个键的主键的所有列进行校验和
3. 计数已放入运动学流与数据仓库中的记录数

感谢您的建议！