如何为apache spark客户端驱动程序禁用或执行最小日志记录？

Question

如何为apache spark客户端驱动程序禁用或执行最小日志记录？通过驱动程序我是指我初始化spark上下文的程序。它产生了大量的INFO消息，但我想知道只有在出现错误或Nullpointer异常等异常时才会知道。 我也在使用spark standalone模式

Answer 1

Apache Spark使用log4j。在conf / log4j.properties中，使用所需的日志记录级别修改以下行：

log4j.rootCategory=WARN, console    
log4j.logger.org.apache.spark.repl.Main=WARN

您可以在此处找到更多信息：http://spark.apache.org/docs/latest/configuration.html#configuring-logging

Answer 2

javaSparkContext.setLogLevel("ERROR");