我正在试图弄清楚为什么我知道正在发生的活动没有出现在Spark UI的SQL选项卡中。我正在使用Spark 1.6.0。
例如,我们今天在11:06之间发生了一系列活动。 13:17,我肯定知道正在执行的代码是使用Spark数据帧API:
然而,如果我跳到SQL选项卡,我发现在这些时间之间没有发生任何活动:
所以...我正在试图找出影响是否在SQL选项卡中出现不活动的因素,因为该SQL选项卡中显示的信息(可以说)是整个用户界面中最有用的信息 - 当有活动时没有出现的发生变得有点烦人。唯一的区别特征似乎是SQL选项卡中显示的作业使用不写入任何数据的操作(例如count()),执行写入数据的作业似乎没有显示出来。我很困惑为什么。 任何智慧的珍珠?