spark Listner OnApplicationEnd事件仅停止驱动程序,执行程序不会被清除

时间:2018-06-17 14:34:24

标签: apache-spark apache-spark-sql spark-streaming

我喜欢使用sparklistner来结束应用程序执行,当我停止应用程序时,它只会停止驱动程序并且它没有清理或停止执行程序。

当我使用onApplicationStart启动应用程序时添加的执行程序无论在我调用onApplicaitonEnd方法时,Spark Listner都应该结束Driver和Executors,但实际上它只会终止驱动程序而不是Executors

class testListner extends SparkListner {
    override def onApplicationEnd(appEnded:SparkListnerApplicationEnd):Unit ={}
}
object slyest extends App {sc.addSparkListner(new testListner)}

0 个答案:

没有答案