我在EMR上运行了一个火花作业，（纱线，群集模式，瞬态 - 在完成作业后群集关闭），并打开了调试模式。所有火花日志都按预期上传到s3但我无法上传我自己的自定义日志......
使用log4j，我试图根据spark doc log4j.appender.algoLog.File=${spark.yarn.app.container.log.dir}/algoLog.log
似乎变量未定义。它试图直接写入root。 /algoLog.log。
如果我把它写到其他任意位置。它只是没有出现在s3上。
如果我希望EMR在群集关闭后将它们上传到s3，我应该在哪里编写自己的日志文件？
答案 0 :(得分：0)
Log4J没有设置为写入对象商店;它的文件系统概念是不同的。
你可以能够让YARN用它的日志集合来做。见How to keep YARN's log files?