当我们的kafka流应用程序尝试从changelog主题恢复状态时,rocksdb状态存储目录会不断增长(超过10GB),直到磁盘空间用完并且从未真正恢复过。
我如何繁殖。
从更改日志主题恢复时,大小为100 MB的RocksDB状态存储如何生成10 GB以上的RocksDb状态存储?是否有一些在正常操作期间发生的压缩/压缩,而在恢复期间没有发生?我的变更日志主题是否设置不正确(由于安全要求,我们必须提前创建主题; cleanup.policy设置为紧凑)?
我将注意到,与传递到流应用程序中的记录数量有关的键数量相对较少。其中大多数是对现有密钥的更新。