spark使用log4j登录到HDFS

Question

我有一个spark应用程序，有没有办法使用log4j登录HDFS而不需要使用flume appender？ （我不是专家，但因为我不需要使用Flume记录很多看起来像是一种过度杀伤）

欢迎提出建议

Answer 1

所以，关键是日志已经保存在HDFS中，由纱线聚合器，你可以让他们这样做

yarn logs --applicationId application_1441635924531_0065 | less

当你启动spark-submit时，shell上会出现applicationId编号。