如何在Spark2中启用spark.history.fs.cleaner？

Question

我的Spark2和Spark配置都有spark.history.fs.cleaner.enabled = true。它适用于保持/ spark-history / clean，但无法为/ spark2-history做任何事情。为什么它不起作用的任何想法？

Answer 1

Previous Spark属性控制一个定期清理磁盘上事件日志的任务。

在你的问题中spark.history.fs.cleaner.enabled所以我认为问题在于spark.history.fs.cleaner=enabled字符。

另一个= Spark属性（spark.history.fs.cleaner.interval默认值）控制清理器检查要删除的事件日志的频率。确保它足够频繁。