Spark:如何在不退出shell的情况下终止运行进程?

时间:2015-10-15 05:34:28

标签: apache-spark

如何在不退出的情况下终止本地OSX计算机上的Spark shell中正在运行的进程?

例如,如果我只是在RDD上做一个简单的.count(),它可能需要一段时间,有时我想杀死它。

然而,如果我做Ctrl C那么它会杀死整个shell。

有没有办法杀死进程而不是shell?

2 个答案:

答案 0 :(得分:5)

您可以使用主Web界面终止或可视化作业。 您还可以找到其他内容,例如日志文件或群集工作表...

答案 1 :(得分:2)

取自spark docs:

  

然后,如果您希望杀死重复失败的应用程序,您可以通过以下方式执行此操作:
    ./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

链接:http://spark.apache.org/docs/latest/spark-standalone.html