我喜欢使用sparklistner来结束应用程序执行,当我停止应用程序时,它只会停止驱动程序并且它没有清理或停止执行程序。
当我使用onApplicationStart启动应用程序时添加的执行程序无论在我调用onApplicaitonEnd方法时,Spark Listner都应该结束Driver和Executors,但实际上它只会终止驱动程序而不是Executors
class testListner extends SparkListner {
override def onApplicationEnd(appEnded:SparkListnerApplicationEnd):Unit ={}
}
object slyest extends App {sc.addSparkListner(new testListner)}