Flink Kafka连接器SSL支持

时间:2019-08-14 11:11:07

标签: apache-flink flink-streaming

我们在生产环境中拥有安全的Kafka集群(使用TLS加密,基于证书的客户端身份验证和ACL)。我试图弄清楚如何使用适当的设置配置Flink Kafka连接器,以便它可以安全地连接到我们的Kafka群集。 Flink是否可能?我必须通过属性传递安全配置信息吗?

我们的Flink集群在Kubernetes(1.14.2)上运行,并使用带有集成的kafka连接器的最新Flink稳定版本(v1.8)。

2 个答案:

答案 0 :(得分:1)

好吧,在摆弄文档之后,我自己动手了。现在,我在运行Helm时在部署时提供了所需的Java密钥库(我们通过Helm图表部署了整个Flink东西)。密钥库将以base64编码,并保存为Kubernetes机密。任务管理器吊舱将机密安装在给定位置。

现在,在运行Flink作业时,我可以在命令行上将密钥库/信任库的位置及其密码作为参数传递。这些参数最终用于通过属性配置Kafka客户端。

如果有人感兴趣或有疑问,请告诉我,如有需要,我可以发布更详细的说明。

答案 1 :(得分:1)

很高兴知道您找到了一种使用keystore和trustore从flink连接kafka的方法。 我当时使用kerberose keytab进行连接并且工作正常,但现在需要使用trustore和keystore而不是keytab进行连接。

我尝试使用其他版本的连接器进行连接,但未成功,您能否分享有关如何实现此目的的更多信息?

谢谢 马亨德拉