直接查询Spark Thrift Server没有在Spark History UI中显示任何内容

时间:2018-01-04 20:01:36

标签: apache-spark hive apache-spark-sql beeline spark-thriftserver

我刚刚在端口10016(默认)上使用Hive和Spark Thrift Server构建了一个Hortonworks集群,并通过直线STS测试了SELECT语句

https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server

beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;

我可以得到结果,一切都很好。但我的问题是如何在Spark History Server UI中显示查询?我怎么知道它实际上是Spark做计算工作还是通过HiveServer2传递?

更新1

这就是我所拥有的,默认情况下已经启用了日志:

enter image description here

1 个答案:

答案 0 :(得分:0)

如果您正在使用与端口10016的连接 - 它的Spark。 请检查属性 spark.eventLog.enabled 是否设置为 true (必须在$ SPARK_HOME / conf / spark-defaults.conf中)。