flink作业jar很大时如何远程执行flink作业

时间:2019-03-18 11:13:13

标签: apache-flink flink-streaming

我在Kubernetes集群上运行了flink服务器。我有一个工作罐,由于产品和第三方的依赖性,它很笨重。 我通过运行 ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment(host,port,jar); 优化后的jar大小约为130 MB。 我想在不执行jar上传的情况下调用remoteExecution,这样就不会在每次需要执行作业时都进行上传。有没有一种方法可以上传一次jar,并在不提及jar的情况下远程调用它(在Java中)?

1 个答案:

答案 0 :(得分:0)

您可以部署a per job cluster on Kubernetes。这会将您的用户代码jar和Flink二进制文件提交到Kubernetes集群。不利之处在于,之后如果不重新启动Flink群集,就无法更改作业。