请考虑Flink中的FlatMapFunction
。要求对此的任何实现都必须可序列化。
我试图理解为什么会这样,有人可以解释吗?所有这些操作员实例都是在作业管理器中创建的,而不是序列化并发送给任务管理器的吗?
答案 0 :(得分:1)
在作业管理器中创建的所有这些操作员实例是否都没有序列化并发送给任务管理器?
您已经回答了问题:) 就是这样。
值得一提的是,它不仅用于分布式作业,而且还用于容错。
系统从检查点恢复数据,然后重新部署整个分布式数据流,并为每个操作员提供快照状态,作为检查点的一部分。