尝试从Flink 1.3.2迁移到1.5我们已经使用kubernetes部署了集群。 1.3.2一切正常但我不能用1.5提交工作。当我试图这样做时,我只是看到spinner无限旋转,同样通过REST api。我甚至无法提交wordcount示例工作。 似乎我的任务管理员无法连接到jobmanager,我可以在flink UI中看到它们,但在日志中我看到
level = WARN akka.remote.transport.netty.NettyTransport - 与[null]的远程连接失败 org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: 连接超时: 弗林克-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226:6123
level = WARN akka.remote.ReliableDeliverySupervisor - 与远程系统关联 [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123] 失败了,地址现在被门控[50] ms。原因:[协会 失败了 [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123] 引起:[远程对出站关联没有响应。 关联在[20000 ms]之后超时。]
level = WARN akka.remote.transport.netty.NettyTransport - 远程 与[null]的连接失败 org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: 连接超时: 弗林克-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226:6123
但我可以从taskmanager telnet到jobmanager
如果我在集群模式下开始flink(jobmanager + taskmanager),那么一切都在我的本地工作。 在1.5文档中,我找到了模式选项,它在flip6和legacy之间翻转模式(默认flip6),但是如果我设置模式:遗产我根本没有看到我的任务管理员注册。
这是关于k8s部署和1.5我需要做的具体事情吗?我检查了1.5 k8s配置,它看起来和我们一样,但是我们使用定制的docker镜像进行flink(安全,HA,检查点)
谢谢。
答案 0 :(得分:1)
作业管理连接性问题。 Jobmanager泊坞窗映像无法连接到“ flink-jobmanager”($ {JOB_MANAGER_RPC_ADDRESS})地址。
只需使用afilichkin / flink-k8s Docker代替flink:latest
我已通过将新主机添加到jobmanager泊坞窗来修复它。您可以在我的github项目中看到它
https://github.com/Aleksandr-Filichkin/flink-k8s/tree/master