如何杀死Databricks的工作

Question

我有一份长期的工作，如果满足某些条件，我想干掉这份工作。传统上，这是在python中完成的，例如：

if some_condition:
   exit('job failed!)

这适用于python脚本的传统命令行运行。但是，出于我无法理解的原因，Databricks不会通过exit终止脚本。

如果满足特定条件，如何编程Databricks python脚本以自动停止执行？

Answer 1

我认为这是由于Python REPL在整个堆栈中的位置所致，导致exit（）并未实际退出Spark所在的JVM。您正在寻找退出Spark作业的异常可能是SparkException-https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkException.scala

或者，在Databricks中，您可以使用dbutils.notebook.exit（） https://docs.databricks.com/user-guide/notebooks/notebook-workflows.html#notebook-workflows