如何在不退出的情况下终止本地OSX计算机上的Spark shell中正在运行的进程?
例如,如果我只是在RDD上做一个简单的.count()
,它可能需要一段时间,有时我想杀死它。
然而,如果我做Ctrl C
那么它会杀死整个shell。
有没有办法杀死进程而不是shell?
答案 0 :(得分:5)
您可以使用主Web界面终止或可视化作业。 您还可以找到其他内容,例如日志文件或群集工作表...
答案 1 :(得分:2)
取自spark docs:
然后,如果您希望杀死重复失败的应用程序,您可以通过以下方式执行此操作:
./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>
链接:http://spark.apache.org/docs/latest/spark-standalone.html