当我使用spark sql时，如何在程序中获取当前正在运行的作业信息

Question

我使用Spark SQL运行许多sqls。我的目标是编程以获取有关其状态的信息，无论它们是正在运行还是已完成或失败，以及sqls中哪一个是Spark当前处理。

我尝试了Spark监听器，但它工作得不是很好，我使用onJobStart或onJobEnd来获取当前正在运行的sql，还有另外一种方法吗？
下面的代码类似于我对Spark SQL的使用。

sqls = List(sql1, sql2, sql3,..,sqln)

在我的Spark计划中：

sqls foreach {
  sql =>
     sparkSession.sql(sql)
}