标签: apache-flink apache-beam rocksdb
我们有一个Apache Beam作业,该作业从kafka读取并写入ES。如果某事(乐观锁定)失败,则会将事件置于死信主题 一切运行顺利,除了rocksdb检查点不断增加,现在将达到1Gb。
kafka --> ESInsert-->Notify | | -------------------
我们没有任何要存储的状态。.我们所需要的是,是否成功处理了消息并且提交了偏移量,我们就不再需要消息了。