Apache Spark历史记录服务器日志

Question

我的Apache Spark应用程序处理巨大的RDD，并通过历史记录服务器生成EventLogs。 如何导出这些日志并将其导入到另一台计算机，以通过History Server UI进行查看？

Answer 1

我的群集使用Windows 10，由于某种原因，在此操作系统下，如果未在计算机本身上生成日志文件，则不会加载日志文件。使用Ubuntu等其他操作系统，我能够在浏览器中查看History Server的日志。

Answer 2

运行应用程序writes events到 spark.eventLog.dir （例如HDFS-hdfs：// namenode / shared / spark-logs）的火花，如在spark- defaults.conf。

然后，这些记录将由Spark历史记录服务器根据   spark.history.fs.logDirectory 设置。 这两个日志目录必须相同，并且火花历史记录服务器进程应具有读取这些文件的权限。 因此，这些将是每个应用程序的事件日志目录中的json文件。您可以使用适当的filesystem commands访问这些内容。