我按如下方式运行SparkSession:
val query: String = //...
val session = SparkSession.builder
.enableHiveSupport()
.getOrCreate()
val iterator = session.sql(query).rdd.toLocalIterator
我阅读this answer并了解sc.setLocalProperty("callSite.short", "callSite.short")
。但这不适用于我的情况。
问题是我不知道哪个线程会使用我在这里的iterator
。是否可以将作业描述设置为 Spark Web UI ,以显示我使用session.sql(query).rdd
获得的RDD上的所有操作?