是否可以为某些RDD上的所有操作设置“作业说明”?

时间:2017-12-08 14:34:12

标签: scala apache-spark rdd

我按如下方式运行SparkSession:

val query: String = //...
val session = SparkSession.builder
          .enableHiveSupport()
          .getOrCreate()

val iterator = session.sql(query).rdd.toLocalIterator

我阅读this answer并了解sc.setLocalProperty("callSite.short", "callSite.short")。但这不适用于我的情况。

问题是我不知道哪个线程会使用我在这里的iterator。是否可以将作业描述设置为 Spark Web UI ,以显示我使用session.sql(query).rdd获得的RDD上的所有操作?

0 个答案:

没有答案