我有一个流作业，由于网络呼叫超时而失败。尽管该应用程序会重新键入一段时间，但是如果同时我杀死了Driver，则该应用程序不会死亡。而且我必须通过UI手动终止该应用程序。
我的问题是： 发生这种情况是因为网络连接是通过不同的线程形成的，并且不会使应用程序死亡吗？
答案 0 :(得分：1)
不要“杀死”您火花工作的随机部分；由于高可用性（Spark的主要功能之一），它们会重试。如果您想终止工作，可以使用纱线。
yarn application -kill <APP_ID>
您可以使用
获取所有正在运行的应用程序的列表。yarn application -list
最后，您可以使用来查看作业的日志
yarn application -logs <APP_ID>