spark sql job

Question

我正在使用使用spark 1.6.0构建的Cloudera 5.8.3发行版。我通过oozie提交了一个Spark工作（它作为java动作提交）

我可以看到作业已成功完成，也可以在Spark历史记录服务器上找到它（它也适用于Spark 1.6.0）。我还可以看到所有执行程序/应用程序/作业/阶段/任务级别的详细信息。

但是，我也知道spark为spark数据帧提供了更好的日志记录，我没有看到该选项卡。 这就是我所说的观点：

我不确定其他细节与此相关或在哪里寻找。希望得到一些指示。

谢谢！

Answer 1

历史服务器上的SQL选项卡已添加到Spark 2.0.0中。见https://issues.apache.org/jira/browse/SPARK-11206