Beam Jar无法在远程Flink群集上运行

时间:2018-09-21 03:52:42

标签: apache-flink beam

使用带有Flink 1.5.3的Beam 2.6进行测试。光束运行本地flink运行器没有问题。但是无法在flink群集上运行。尝试同时使用mvn和flink提交作业。当使用mvn运行时,我使用了:

mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar"

这会导致请求Blob服务器端口上出现问题,无法继续

  

2018年9月21日上午11:47:38 org.apache.zookeeper.ClientCnxn $ SendThread   logStartConnect INFO:打开与服务器的套接字连接   192.168.0.12/192.168.0.12:2181。不会尝试使用SASL进行身份验证(未知错误)2018年9月21日上午11:47:38   org.apache.zookeeper.ClientCnxn $ SendThread primeConnection信息:   已建立至192.168.0.12/192.168.0.12:2181的套接字连接,   发起会议Sep 21,2018 11:47:38 AM   org.apache.zookeeper.ClientCnxn $ SendThread onConnected INFO:会话   服务器192.168.0.12/192.168.0.12:2181上的建立已完成,   sessionid = 0x165adfcdcd9104b,协商的超时= 90000 2018-09-21   11:47:38 INFO ConnectionManager $ HConnectionImplementation:2155-   关闭主协议:MasterService 2018-09-21 11:47:38 INFO   ConnectionManager $ HConnectionImplementation:1712-关闭Zookeeper   sessionid = 0x165adfcdcd9104b 2018年9月21日上午11:47:38   org.apache.zookeeper.ClientCnxn $ EventThread运行信息:EventThread关闭   2018年9月21日上午11:47:38 org.apache.zookeeper.ZooKeeper关闭   信息:会话:0x165adfcdcd9104b已关闭2018年9月21日上午11:47:39   org.apache.flink.client.program.rest.RestClusterClient SubmitJob信息:   提交作业aa366f2bd4bff3ddab47c1a890c84256(分离:false)。九月   2018年21月11日47:39   org.apache.flink.client.program.rest.RestClusterClient SubmitJob信息:   请求Blob服务器端口

当使用flink通过以下方式直接提交工作时:

$FLINK_HOME/bin/flink run -c org.apache.beam.examples.WordCount target/test-beam-bundled-0.1.jar --runner=FlinkRunner --flinkMaster=c2:6123  --filesToStage=target/word-count-beam-bundled-0.1.jar

它引发以下异常:

  

程序完成,但有以下异常:

     

在环境中运行时无法实例化RemoteEnvironment   预定义的上下文(例如命令行客户端,Scala Shell或   测试环境)     org.apache.flink.api.java.RemoteEnvironment。(RemoteEnvironment.java:126)     org.apache.flink.api.java.RemoteEnvironment。(RemoteEnvironment.java:86)     org.apache.flink.api.java.ExecutionEnvironment.createRemoteEnvironment(ExecutionEnvironment.java:1168)     org.apache.beam.runners.flink.FlinkExecutionEnvironments.createBatchExecutionEnvironment(FlinkExecutionEnvironments.java:58)     org.apache.beam.runners.flink.FlinkPipelineExecutionEnvironment.translate(FlinkPipelineExecutionEnvironment.java:93)     org.apache.beam.runners.flink.FlinkRunner.run(FlinkRunner.java:110)     org.apache.beam.sdk.Pipeline.run(Pipeline.java:313)     org.apache.beam.sdk.Pipeline.run(Pipeline.java:299)

任何想法

1 个答案:

答案 0 :(得分:0)

我发现这是光束版本问题。 Beam Java sdk仅可与Flink 1.5.1一起使用。 Flink 1.5.2+中有一个更改,该Blob上传方法已更改。梁无法通过Flink Blob Rest API加载罐子。