我们在Spark作业1.6（纱线上）遇到问题，这个问题永远不会结束，同时启动多个作业。 我们发现，通过在纱线客户端模式下启动作业火花，我们没有这个问题，不像在纱线群集模式下启动它。 找到原因可能是一条小路。
我们更改了代码以添加sparkContext.stop（） 实际上，SparkContext已创建（val sparkContext = createSparkContext）但未停止。这个解决方案使我们能够减少仍然被阻止的工作数量，但仍然有一些工作被阻止。
通过分析日志，我们发现这个日志重复而不停止：
17/09/29 11:04:37 DEBUG SparkEventPublisher: Enqueue SparkListenerExecutorMetricsUpdate(1,WrappedArray())
17/09/29 11:04:41 DEBUG ApplicationMaster: Sending progress
17/09/29 11:04:41 DEBUG ApplicationMaster: Number of pending allocations is 0. Sleeping for 5000.
似乎我们称之为newAPIHadoopRDD从Hbase获取数据的作业块。这可能是问题!! 有人对这个问题有任何想法吗？ 提前谢谢