如何在Spark中取消“代码生成”和“清洁的累加器”消息

Question

我写了一份出色的工作。工作顺利，没有任何问题。但是，当我查看错误日志文件时，会看到太多类型的消息

[error] 18/11/25 17:28:14 INFO CodeGenerator: Code 
generated in 16.947005 ms

和

[error] 18/11/25 17:28:15 INFO ContextCleaner: Cleaned
accumulator 239819

和

[error] 18/11/25 17:28:06 INFO BlockManagerInfo: Removed 
broadcast_13354_piece0 on 192.168.2.101:43753 in memory 
(size: 20.5 KB, free: 6.2 GB)

有什么方法可以禁止显示这些消息。他们只是在膨胀我的日志文件。

不确定为什么spark将这些报告为错误。当它们看起来像某种调试消息时。

Answer 1

在创建SparkContext的对象时，请使用以下代码根据需要设置日志级别：

sparkContext.setLogLevel("WARN")

上面的行会将Spark的日志级别设置为WARN，您将不会获得任何INFO或DEBUG级别的日志。