Spark作业服务器显示日志

时间:2016-12-15 18:04:58

标签: logging apache-spark spark-jobserver

我在独立模式下设置了一个spark job-server(见https://github.com/spark-jobserver/spark-jobserver/tree/jobserver-0.6.2-spark-1.6.1)。

我使用Scala设置了一些作业,每个作业使用相同的共享上下文,但我不明白如何保留我的作业(或上下文)日志。

目前我正在使用:

val logger = LoggerFactory.getLogger(getClass)

没有任何成功。我没有找到任何文档或示例,甚至可能吗?

谢谢

1 个答案:

答案 0 :(得分:0)

我发现这有助于解决同样的问题:

https://mapr.com/blog/how-log-apache-spark/

您必须调整spark log4j配置。