spark.eventLog.dir和spark.history.fs.logDirectory有什么区别？

Question

在Spark中，事件日志目录和历史服务器日志目录之间有什么区别？

spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps

Answer 1

来自Apache Spark的官方文档：

  如果spark.eventLog.enabled为true，则

spark.eventLog.dir是记录Spark事件的基本目录。在此基本目录中，Spark为每个应用程序创建一个子目录，并将特定于该应用程序的事件记录在此目录中。用户可能希望将其设置为统一位置（如HDFS目录），以便历史记录服务器可以读取历史记录文件。

请参阅spark.eventLog.dir。

  

spark.history.fs.logDirectory用于文件系统历史记录提供程序，即包含要加载的应用程序事件日志的目录的URL。这可以是本地file：//路径，HDFS路径hdfs：// namenode / shared / spark-logs或Hadoop API支持的备用文件系统。

请参阅spark.history.fs.logDirectory。

spark.eventLog.dir用于生成日志，而spark.history.fs.logDirectory是Spark History Server查找日志事件的位置。