我有一个Flink集群，我通过S3使用了检查点， 我每分钟都会得到当前状态到S3的快照，需要20次借调， 但快照使用所有网络带宽（1 Gb / s），因此我的工作每分钟可以获得20秒的延迟。
我的问题是，有一种方法可以限制检查点的带宽或禁用检查点或其他解决方案的完整网络使用？
THX
答案 0 :(得分：0)
如果您还没有这样做，我建议您考虑使用增量检查点（使用RocksDB）。此功能已在Flink 1.4中添加，并且已证明对具有大状态的Flink应用程序非常有用。
默认情况下，增量检查点已关闭。要启用它，请将true传递给构造函数，如此
RocksDBStateBackend backend =
new RocksDBStateBackend(filebackend, true);
或在配置文件中将state.backend.incremental设置为true。
这不会直接解决你所问的问题 - 如何限制检查点，以免它不会使网络饱和 - 但应该有所帮助。
另外，请注意大量使用S3的应用程序中的Amazon recommends using the Elastic Network Adapter。这提供高达25 Gbps的带宽。
有关在Flink中使用大型州的更多信息，您可能需要查看