Question

我有一个要求将EMR的Yarn应用程序日志写入S3以外的其他源。请问我在哪里将应用程序日志保存在EMR主实例中

Answer 1

如果将应用程序作为步骤提交给emr，则日志将位于：

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

大多数emr日志都可以在主节点的/var/logs目录下找到

您还可以使用yarn cli来获取应用程序日志，并将返回的日志流重定向到文件以执行所需的操作。

yarn logs -applicationId <<application_id>> > application_log_file.log

Answer 2

在/var/log/hadoop-yarn/找到纱线日志，在/var/log/hadoop-yarn/container找到纱线容器日志