spark对于同一功能的多次调用只能创建一个作业

Question

上下文=>

我想用不同的参数执行相同的函数3次。

问题=>

但是，我发现spark仅执行第一个函数（因为它会创建一次作业，而println中的func只会执行一次），并在第一个函数完成时执行对func的调用，它永远不会终止，并且被阻塞，对下一次调用func毫无用处。

代码：

def func(....) {

  val df =  spark.read
      .parquet(.....)
      .filter(.....)

  df.write.....
}

def test() = {

    // 1st
    func(....)

    // 2nd
    func(....)

    // 3rd
    func(....)
}

test()

问：有人可以提供一些线索代码有什么问题吗？谢谢。