Spark SQL查询历史记录

Question

是否有任何方法可以获取由Hadoop集群中的各种用户执行的Spark SQL查询的列表？ 例如，Spark应用程序是否以字符串格式存储查询的日志文件？

Answer 1

有一个Spark历史记录服务器（默认情况下为端口18080）。如果已配置spark.eventLog.enabled，spark.eventLog.dir且Spark HS正在运行-您可以检查集群上已执行了哪些Spark应用。那里的每个作业都可能在UI中包含SQL选项卡，您可以在其中查看SQL查询。但是，没有一个单独的位置或日志文件可以存储所有内容。