Question

我正在使用EMR 5.4并且我向Yarn提交了火花作业

当我尝试使用yarn logs -applicationId application_1528461193301_0001检索日志时，出现以下错误：

18/06/08 12:38:01 INFO client.RMProxy: Connecting to ResourceManager at ip-10-0-182-144.eu-west-1.compute.internal/10.0.182.144:8032
s3://xxx/apps/root/logs/application_1528461193301_0001 does not exist.
Log aggregation has not completed or is not enabled.

这是我的配置/etc/hadoop/conf/yarn-site.xml

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <description>Where to store container logs.</description>
    <name>yarn.nodemanager.log-dirs</name>
    <value>s3://xxx/containers</value>
  </property>

  <property>
    <description>Where to aggregate logs to.</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>s3://xxx/apps</value>
  </property>

Answer 1

如果将日志汇总到s3，则无法使用每个文档的纱线日志实用程序

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html

注意

您当前无法通过纱线将日志聚合用于Amazon S3   日志实用程序。

您可以使用aws实用程序下载日志文件

aws s3 cp s3://xxx/apps/[applicationId] /your/folder --recursive

如何解决YARN日志中的日志聚合未完成或未启用错误

1 个答案: