如何退出火花程序

Question

如果例如-my join条件失败，我如何退出（通过强制错误消息）来自Spark程序？

实施例 -

员工数据 - emp_id，dep_no

1,1001 2,2001

部门数据 - dep_no，dept_name，位置

1001，XYZ，NY 3001，PQR，PA

现在，如果我想丰富员工数据，我需要与部门数据进行联接。我想要的是每当我在dept数据中找不到部门时（我的连接将失败），我想在Spark（Scala）中使用自定义错误消息停止进程（错误输出）。

谢谢， SID

Answer 1

根据您的使用情况，您可能希望使用以下SparkContext的方法之一：

def cancelJob(jobId: Int, reason: String): Unit 
def cancelJobGroup(groupId: String)
def cancelAllJobs()

一些有用的电话：

def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread