Kafka流状态存储无法从更改日志主题恢复

时间:2019-06-23 17:22:20

标签: apache-kafka-streams rocksdb

当我们的kafka流应用程序尝试从changelog主题恢复状态时,rocksdb状态存储目录会不断增长(超过10GB),直到磁盘空间用完并且从未真正恢复过。

我如何繁殖。

  1. 我以一个全新的changelog主题启动我们的应用程序。
  2. 我推了几十万条记录。我注意到我的RocksDb状态存储区大约100mb。
  3. 我正常关闭了应用程序并重新启动。
  4. 我看到还原使用者记录并指出他们从头开始重建状态存储。然后,我观察RocksDb状态存储目录的大小增加,直到磁盘空间不足(10s GB)。

从更改日志主题恢复时,大小为100 MB的RocksDB状态存储如何生成10 GB以上的RocksDb状态存储?是否有一些在正常操作期间发生的压缩/压缩,而在恢复期间没有发生?我的变更日志主题是否设置不正确(由于安全要求,我们必须提前创建主题; cleanup.policy设置为紧凑)?

我将注意到,与传递到流应用程序中的记录数量有关的键数量相对较少。其中大多数是对现有密钥的更新。

0 个答案:

没有答案