考虑到Kerberos密码更改,如何实现长期运行的Flink作业?

时间:2020-01-10 12:12:59

标签: apache-flink kerberos

有关长时间运行的flink(或spark)作业的讨论省略了有关如何避免在定期滚动密码时失败的讨论。

密码滚动将使应用程序正在使用的所有密钥表失效,并且当前会话凭单过期后作业可能会失败,这可能是密码更改后24小时

我现在看不到flink中的任何内容来支持密码输入时连续运行。

该应用程序将失败,必须从头开始重新安排。

在这个领域有什么艺术可以避免这种失败吗?

例如,是否有一项功能可以使我们定期刷新密钥表?有人在吗?

1 个答案:

答案 0 :(得分:0)

Flink当前不支持任何类型的键表刷新,到目前为止,对该功能几乎没有兴趣。密钥表被认为寿命很长,并且很少更改。它类似于AWS中用于获取数据库密码的角色。密码通常会轮换使用,但角色几乎不会更改。

因此,当前除了让整个应用程序失败并重新计划之外,别无选择。如果keytab更改经常出现,我将使其自动化并在下班时间主动重新安排。有关更具体的提示,可以添加是否使用YARN或K8运行Flink。

如果由于状态大小和SLA而不能重新启动,则可以尝试实现自己的实现密钥表刷新的SecurityModule。或者,您可以在Jira上提出功能请求。具有很多选票的功能可以更快地实现。