我们正在将AWS Glue的Change Data Capture (CDC)功能与SnapLogic和Informatica进行比较。 AWS Glue能够检测数据结构中的更改。
我正在寻找有关如何检测 数据（即修改后的数据或新数据） 的具体示例。有人使用过AWS Glue仅提取新的/修改的记录吗？如果可以，怎么办？
答案 0 :(得分：0)
在胶中实现CDC的两个选项是1.通过使用源数据库中的audit列并将其传递到sql中以提取数据 2.如果数据不超过几十万条记录，则提取完整数据并使用spark sql进行比较。