查找Spark应用程序已停止的原因

Question

我的 Spark 应用有时由于HDFS failure，OutOfMemoryError之类的问题或其他一些问题而停止。

我知道我们可以定期存储历史服务器的数据，但这可能会影响空间和性能。

我希望在历史记录服务器中仅记录相关的错误消息（而不是所有的INFO消息）。

是否可以控制历史记录服务器将打印哪些消息？

Answer 1

您可以设置此属性

log4j.logger.org.apache.spark.deploy.history=ERROR

log4j.properties文件中的

。