我刚刚在端口10016(默认)上使用Hive和Spark Thrift Server构建了一个Hortonworks集群,并通过直线STS测试了SELECT语句
https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server
beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;
我可以得到结果,一切都很好。但我的问题是如何在Spark History Server UI中显示查询?我怎么知道它实际上是Spark做计算工作还是通过HiveServer2传递?
更新1
这就是我所拥有的,默认情况下已经启用了日志:
答案 0 :(得分:0)
如果您正在使用与端口10016的连接 - 它的Spark。 请检查属性 spark.eventLog.enabled 是否设置为 true (必须在$ SPARK_HOME / conf / spark-defaults.conf中)。