gcloud控制台指示作业正在运行，而hadoop应用程序管理器表示已完成

Question

我提交给spark集群的工作还没有完成。我看到它永远在等待，但是日志说甚至火花码头连接器都被关闭了：

17/05/23 11:53:39 INFO org.spark_project.jetty.server.ServerConnector: Stopped ServerConnector@4f67e3df{HTTP/1.1}{0.0.0.0:4041}

我在纱线上运行最新的云dataproc v1.1（spark 2.0.2）。我通过gcloud api提交spark工作：

gcloud dataproc jobs submit spark --project stage --cluster datasys-stg \
--async --jar hdfs:///apps/jdbc-job/jdbc-job.jar --labels name=jdbc-job -- --dbType=test

相同的火花pi东西正确完成：

gcloud dataproc jobs submit spark --project stage --cluster datasys-stg --async \
 --class org.apache.spark.examples.SparkPi --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 100

访问hadoop应用程序管理器界面时，我看到它已成功结果： 谷歌云控制台和工作清单显示它一直在运行直到被杀死（在杀死之前看到工作运行20小时，而hadoop说它运行了19秒）： 有什么我可以监控，看看是什么阻止gcloud完成这项工作？

Answer 1

我找不到任何可以监控我的应用程序没有完成的内容，但我找到了实际问题并修复了它。事实证明我在我的应用程序中放弃了线程 - 我与RabbitMQ有连接，而且似乎创建了一些线程，阻止应用程序最终被gcloud停止。