我正在使用Flink1.6.1和Hadoop2.7.5。首先,我开始一个flink
bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
然后提交任务
./bin/flink run ./examples/batch/WordCount.jar -input hdfs://CS-201:9000/LICENSE -output hdfs://CS-201:9000/wordcount-result.txt
我遇到一个错误:
[root @ CS-201 flink-1.6.1]#./bin/flink运行 ./examples/batch/WordCount.jar-输入hdfs:// CS-201:9000 / LICENSE 输出hdfs:// CS-201:9000 / wordcount-result.txt 2019-05-19 15:31:11,357 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli
-在/tmp/.yarn-properties-root下找到了Yarn属性文件。 2019-05-19 15:31:11,357信息 org.apache.flink.yarn.cli.FlinkYarnSessionCli-找到 /tmp/.yarn-properties-root下的纱线属性文件。 2019-05-19 15:31:11,737 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli
-YARN属性将默认并行度设置为2 2019-05-19 15:31:11,737 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli- YARN属性将默认并行度设置为2个YARN属性集 默认并行度为2 2019-05-19 15:31:11,777信息 org.apache.hadoop.yarn.client.RMProxy- 在2019年5月19日通过CS-201 / 192.168.1.201:8032连接到ResourceManager 15:31:11,887 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli
-没有传递flink jar的路径。使用类org.apache.flink.yarn.YarnClusterDescriptor的位置找到罐子 2019-05-19 15:31:11,887信息 org.apache.flink.yarn.cli.FlinkYarnSessionCli-否 flink jar的路径已传递。使用课程的位置 org.apache.flink.yarn.YarnClusterDescriptor来找到罐子 2019-05-19 15:31:11,891警告 org.apache.flink.yarn.AbstractYarnClusterDescriptor- HADOOP_CONF_DIR和YARN_CONF_DIR环境变量均不 Flink YARN客户端需要将其中之一设置为正确 加载用于访问YARN的Hadoop配置。 2019-05-19 15:31:11,979 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor -从提供的应用程序ID“ application_1558248666499_0003”中找到了应用程序JobManager主机名“ cs-202”和端口“ 52389” 程序执行-------------------------------------------------- -------------程序完成,但有以下异常:
org.apache.flink.client.program.ProgramInvocationException:无法 检索执行结果。 (JobID: 471f0c2d047aba74ea621c5bfe782cbf)在 org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:260) 在 org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:486) 在 org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:474) 在 org.apache.flink.client.program.ContextEnvironment.execute(ContextEnvironment.java:62) 在 org.apache.flink.examples.java.wordcount.WordCount.main(WordCount.java:85) 在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Method.invoke(Method.java:498)在 org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529) 在 org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:421) 在 org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:426) 在 org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:804) 在 org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:280) 在org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:215) 在 org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1044) 在 org.apache.flink.client.cli.CliFrontend.lambda $ main $ 11(CliFrontend.java:1120) 在java.security.AccessController.doPrivileged(本机方法)在 javax.security.auth.Subject.doAs(Subject.java:422)在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754) 在 org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) 在 org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1120) 引起原因:org.apache.flink.runtime.client.JobSubmissionException: 提交JobGraph失败。在 org.apache.flink.client.program.rest.RestClusterClient.lambda $ submitJob $ 8(RestClusterClient.java:379) 在 java.util.concurrent.CompletableFuture.uniExceptionally(CompletableFuture.java:870) 在 java.util.concurrent.CompletableFuture $ UniExceptionally.tryFire(CompletableFuture.java:852) 在 java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474) 在 java.util.concurrent.CompletableFuture.completeExceptionally(CompletableFuture.java:1977) 在 org.apache.flink.runtime.concurrent.FutureUtils.lambda $ retryOperationWithDelay $ 5(FutureUtils.java:213) 在 java.util.concurrent.CompletableFuture.uniWhenComplete(CompletableFuture.java:760) 在 java.util.concurrent.CompletableFuture $ UniWhenComplete.tryFire(CompletableFuture.java:736) 在 java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474) 在 java.util.concurrent.CompletableFuture.postFire(CompletableFuture.java:561) 在 java.util.concurrent.CompletableFuture $ UniCompose.tryFire(CompletableFuture.java:929) 在 java.util.concurrent.CompletableFuture $ Completion.run(CompletableFuture.java:442) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:624) 在java.lang.Thread.run(Thread.java:748)造成原因: java.util.concurrent.CompletionException: org.apache.flink.runtime.concurrent.FutureUtils $ RetryException:可以 无法完成操作。异常不可重试。在 java.util.concurrent.CompletableFuture.encodeRelay(CompletableFuture.java:326) 在 java.util.concurrent.CompletableFuture.completeRelay(CompletableFuture.java:338) 在 java.util.concurrent.CompletableFuture.uniRelay(CompletableFuture.java:911) 在 java.util.concurrent.CompletableFuture $ UniRelay.tryFire(CompletableFuture.java:899) ... 12更多原因: org.apache.flink.runtime.concurrent.FutureUtils $ RetryException:可以 无法完成操作。异常不可重试。 ...还有10个 引起原因:java.util.concurrent.CompletionException: org.apache.flink.runtime.rest.util.RestClientException:[作业 提交失败。] java.util.concurrent.CompletableFuture.encodeRelay(CompletableFuture.java:326) 在 java.util.concurrent.CompletableFuture.completeRelay(CompletableFuture.java:338) 在 java.util.concurrent.CompletableFuture.uniRelay(CompletableFuture.java:911) 在 java.util.concurrent.CompletableFuture.uniCompose(CompletableFuture.java:953) 在 java.util.concurrent.CompletableFuture $ UniCompose.tryFire(CompletableFuture.java:926) ... 4更多原因: org.apache.flink.runtime.rest.util.RestClientException:[作业 提交失败。] org.apache.flink.runtime.rest.RestClient.parseResponse(RestClient.java:310) 在 org.apache.flink.runtime.rest.RestClient.lambda $ submitRequest $ 3(RestClient.java:294) 在 java.util.concurrent.CompletableFuture.uniCompose(CompletableFuture.java:952) ...还有5个
为什么会发生?以及如何解决。.