Question

我正在通过oozie运行map-reduce作业。我使用的命令如下。

oozie job -verbose -oozie http://myoozieurl -config job.properties -run

如何查看hadoop作业生成的日志？有没有办法可以看到生成的日志或重新修改日志以在终端窗口上打印？

如果我使用（MapR）hadoop命令运行作业，我可以在终端上看到日志命令的输出。

hadoop和oozie的新手。所以这可能是一个新手的疏忽。

Answer 1

这篇文章解释了如何在mapreduce作业期间管理日志

https://discuss.zendesk.com/hc/en-us/articles/201925118

一旦作业完成，NodeManager将保留${yarn.nodemanager.log.retain-seconds}的每个容器的日志，默认情况下为10800秒（3小时），并在它们过期后删除它们。但是如果启用${yarn.log-aggregation-enable}，则NodeManager会立即将所有容器日志连接到一个文件中，并将它们上传到${yarn.nodemanager.remote-app-log-dir}/${user.name}/logs/<application ID>中的HDFS，并从本地userlogs目录中删除它们。 PHD中默认启用日志聚合，方便日志收集。

启用日志聚合时的示例。我们知道在这个mapreduce作业中执行了4个容器，因为“-m”指定了3个映射器，第四个容器是应用程序主机。每个NodeManager至少有一个容器，所以它们都上传了一个日志文件。

[gpadmin@hdm1 ~]$ hdfs dfs -ls /yarn/apps/gpadmin/logs/application_1389385968629_0025/
Found 3 items
-rw-r-----   3 gpadmin hadoop       4496 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw1.hadoop.local_30825
-rw-r-----   3 gpadmin hadoop       5378 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw2.hadoop.local_36429
-rw-r-----   3 gpadmin hadoop    1877950 2014-02-01 16:54 /yarn/apps/gpadmin

Hadoop通过oozie运行时记录

1 个答案: