Question

当我提交Spark作业（在AWS-EMR上）时，我在控制台上有很多“INFO日志”：

15/02/17 19:44:46 INFO yarn.Client：application_1455192031517_0006的应用报告（状态：已接受）

15/02/17 19:44:47 INFO yarn.Client：application_1455192031517_0006的申请报告（州：RUNNING）

有没有办法禁用这些“INFO”？谢谢！

Answer 1

启动spark-shell时，我无限期地收到此INFO消息。结果是，其中一个节点管理器处于错误的角色组，其内存允许低于spark-shell请求的内容（纱线模式）。所以Spark正在等待纱线无法满足的资源。

Answer 2

另一种选择是在安装时使用“-l loglevel”参数。见https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/README.md

或者，如果您以交互方式使用Spark shell或sql，只需将stderr重定向到别处（MASTER = yarn-client~ / spark / bin / spark-shell 2＆gt; /tmp/stderr.log）。

Answer 3

import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)

禁用Spark作业的应用程序报告

3 个答案: