停止特定的火花动作

时间:2020-06-12 18:18:58

标签: apache-spark apache-spark-sql

说我有一个Spark作业可以完成

val df1 = spark.read.csv(file1)
val df2 = spark.read.csv(file1)

df1.filter(...).join(df2, df1('id') === df1('fkey'),"inner"))

我知道我可以使用spark.stop()停止该作业,但是是否可以在给定的操作(例如,文件读取为df1,然后恢复执行)时暂停这样的Spark作业?

0 个答案:

没有答案