如何在flink中设置rocksdb memtable大小？

Question

我想限制rocsdb的memtable大小。我有几个问题： 1，taskmanager.memory.size配置是否包含rocksdb memtable的内存量？ 2，有没有任何配置可以设置rocksdb memtable size。

Answer 1

1. RocksDB内存不包含在Flink的内存参数中。你必须确保Flink为RocksDB留下足够的内存。但是，这并非易事，因为Flink将为有状态运算符的每个实例使用一个RocksDB实例。这意味着每个TaskManager的RocksDB实例的数量取决于作业中的有状态运算符的数量以及这些运算符的并行性（每个TM在运算符的大多数#slots实例中运行）。

2. 您可以在配置RocksDBStateBackend时传递任何RocksDB参数。