Apache flink中节点之间共享数据集的最佳方法是什么？

Question

我正在使用Apache Flink处理数据流，我需要在处理输入数据的所有节点之间共享索引。索引经常被节点更新。

我想知道，从效率的角度来看，通过广播变量分享数据集是一种很好的做法吗？

广播变量是否会在每次更新后在所有节点中更新？

Apache Flink是否会根据最近的更改以增量方式智能地更新广播变量？

Answer 1

我认为解决方案在于使用基于Flink管理状态描述符的有状态函数。如果状态不可分区，请将并行性设置为运算符。