使用spark-submit时如何在控制台中删除消息？

Question

当我使用spark-submit运行scala作业时，我可以在控制台中看到很多状态消息。

但我想只看到我的照片。我可以放任何参数，以免看到这些消息吗？

Answer 1

这应该在很大程度上起作用。把它放在代码中：

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)
Logger.getLogger("akka").setLevel(Level.WARN)

或者conf/log4j.properties：

log4j.rootCategory=WARN, console