标签: mysql amazon-s3 change-data-capture
我们有一个非常有趣的问题需要解决。我们需要在我们的S3中为Athena拍摄我们的数据库(mysql)的快照来处理这些数据。
现在我们每天都会拍摄快照并删除旧快照,但这是一个开销,因为每天都会在文件中拍摄完整的快照。
我们想要的是捕获CDC,然后每当数据发生变化时,我们都会更新S3中的文件。
我可以看到Cassandra使用memtables和sstables做同样的事情但是我们不想从头开始创建类似cassandra的东西。
有没有简单的方法呢? 有什么建议吗?