纱线服务器重启后如何在Spark Web-UI中保留完成的应用程序

Question

我正在使用纱线资源管理器来产生火花。重新启动纱线服务器后，spark-webui中所有已完成的作业都消失了。

在yarn-site.xml中添加了以下两个属性，有人可以解释一下这是什么原因，并且有任何属性可以控制它。

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

谢谢。

Answer 1

如果您在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为true并设置yarn.resourcemanager.store.class，则可以在重新启动时保留应用程序历史记录。

有关更多详细信息，请参见ResourceManger Restart。

您的其他条目是指日志记录，并定义您希望完成的日志在清除之前要保留多长时间。您可以在yarn-default.xml中阅读有关它们的更多信息。