我真的需要Flink检查点吗？

Question

我有一个Flink应用程序，该应用程序从Kafka读取一些事件，从MySQL中进行一些数据充实，使用窗口函数缓冲数据，并将窗口内部的数据写入HBase。我目前已启用检查点，但事实证明，检查点非常昂贵，并且随着时间的流逝，检查点花费的时间越来越长，并且影响了我的工作延迟（落后于kafka摄取速度）。如果我想出一种使HBase写幂等的方法，那么是否有充分的理由让我使用检查点？我可以将内部kafka消费者客户端配置为经常提交吗？

Answer 1

如果您唯一要检查的点是Kafka提供程序偏移量，那么令我惊讶的是，检查点时间足够长，足以减慢您的工作流程。还是将状态保存到其他地方？如果是这样，您可以跳过该操作（只要在您的笔记中，HBase的写入是幂等的即可）。

请注意，您还可以调整检查点间隔，并且（如果需要）可以在RocksDB中使用增量检查点。