如何使用数据库的CDC来更新存储文件

时间:2018-06-17 05:45:42

标签: mysql amazon-s3 change-data-capture

我们有一个非常有趣的问题需要解决。我们需要在我们的S3中为Athena拍摄我们的数据库(mysql)的快照来处理这些数据。

现在我们每天都会拍摄快照并删除旧快照,但这是一个开销,因为每天都会在文件中拍摄完整的快照。

我们想要的是捕获CDC,然后每当数据发生变化时,我们都会更新S3中的文件。

我可以看到Cassandra使用memtables和sstables做同样的事情但是我们不想从头开始创建类似cassandra的东西。

有没有简单的方法呢? 有什么建议吗?

0 个答案:

没有答案