标签: apache-spark apache-spark-sql
说我有一个Spark作业可以完成
val df1 = spark.read.csv(file1) val df2 = spark.read.csv(file1) df1.filter(...).join(df2, df1('id') === df1('fkey'),"inner"))
我知道我可以使用spark.stop()停止该作业,但是是否可以在给定的操作(例如,文件读取为df1,然后恢复执行)时暂停这样的Spark作业?
spark.stop()