启动前,Cloud Dataflow作业陷入无限循环(创建成功)

时间:2015-10-05 11:37:26

标签: google-cloud-dataflow

在运行任何应用程序逻辑之前,我有一个停留在启动阶段的Cloud Dataflow作业。我通过在processElement步骤中添加一个日志输出语句对此进行了测试,但它没有出现在日志中,所以它似乎没有被访问。

我在日志中可以看到以下消息,每分钟都会显示一次:

错误:无法找到或加载主要类com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness

这些每隔几秒循环一次:

VM健康吗?真。

http:来自172.17.0.1:38335的TLS握手错误:EOF

作业处于JOB_STATE_RUNNING状态,将在30秒后再次检查。

职位编号为2015-10-05_04_05_33-3751772463116380333

关于可能导致此问题的任何想法?

1 个答案:

答案 0 :(得分:1)

错误意味着在播放到GCS并在worker上启动的jar中找不到主类DataflowWorkerHarness。

在eclipse中构建Jar时,Jar需要以与Dataflow兼容的方式构建。已接受的方法在此stack overflow question

中进行了描述