无RocksDB状态后端:广播状态在运行时保持在内存中,应相应地进行内存配置。这适用于所有操作员状态。
以上内容来自flink官方网站。这是否意味着广播状态将不会存储在rocksdb中?即使发生检查点?
答案 0 :(得分:1)
不用担心,广播状态(如所有操作员状态)都包含在Flink的检查点中。但是,不管状态后端的选择如何,它的工作状态都在内存中(在JVM堆上)。仅键控状态可以选择存储在RocksDB中。
RocksDB是一个本地的嵌入式键/值存储,它通过堆外缓存将其工作状态保持在本地磁盘上。如果您将RocksDB用作状态后端,则当出现检查点时,堆操作员状态和RocksDB的键控状态都将被复制到检查点中。检查点不存储在RockDB中,而是写入持久性的节点外分布式文件系统中。