Flinks RocketsDB检查点状态大小不断增加而从未缩小

时间:2020-08-03 18:49:47

标签: apache-flink apache-beam rocksdb

我们有一个Apache Beam作业,该作业从kafka读取并写入ES。如果某事(乐观锁定)失败,则会将事件置于死信主题 一切运行顺利,除了rocksdb检查点不断增加,现在将达到1Gb。

  1. 有没有办法告诉岩石数据库一段时间后放弃状态大小?
    kafka --> ESInsert-->Notify
     |                   |
      -------------------

我们没有任何要存储的状态。.我们所需要的是,是否成功处理了消息并且提交了偏移量,我们就不再需要消息了。

0 个答案:

没有答案