如何使用spark以纱线簇模式将日志直接打印到控制台上

时间:2017-03-20 13:17:13

标签: hadoop apache-spark yarn

我是spark的新手,我想在纱线群集模式下使用apache spark在控制台上打印日志。

1 个答案:

答案 0 :(得分:0)

您需要检查log4j.properties文件中的值。在我的情况下,我在/etc/spark/conf.dist目录中有这个文件

log4j.rootCategory=INFO,console

INFO - 在控制台上打印所有日志。您可以将值更改为ERROR,WARN以限制您希望在控制台上看到的信息,因为火花日志可能是压倒性的