纱线模式下的火花历史服务器

Question

有人可以帮助理解两者之间的明显区别 spark.eventLog.dir和spark.history.fs.logDirectory？

另请将这些属性与yarn.nodemanager.remote-app-log-dir和mapreduce.jobhistory.done-dir

联系起来

请不要将文档粘贴为响应:)

我已经通过以下链接，但无法理解。 What's the difference between spark.eventLog.dir and spark.history.fs.logDirectory?

Answer 1

如链接文章所述，

spark.eventLog.dir是写入日志，而spark.history.fs.logDirectory是Spark History Server 读取日志事件的地方。

在某些情况下，它们可能会有所不同-例如，某些外部定期作业可能会将正在主动写入的文件移动到历史记录位置中

Spark日志目录应与YARN和MapReduce历史记录服务器分开