如何更改MR作业的日志级别

Question

我正在尝试更改MR作业的日志级别，我使用以下命令：

hadoop jar appMR.jar MainMR -Dmapreduce.map.log.level=DEBUG <args...>

但是-Dmapreduce.map.log.level=DEBUG作为工作的第一个参数  有没有办法只针对特定的MR作业执行此操作而不更改log4j属性文件中的级别？

Answer 1

您可以使用：

$ export HADOOP_ROOT_LOGGER="DEBUG,console"

然后运行hadoop jar命令。

https://wiki.apache.org/hadoop/HowToConfigure（在环境变量下）

Answer 2

如果主类实现了，则只能使用-Dname = value表单 工具界面，并通过ToolRunner实用程序调用。检查工具 javadoc示例并为您的实现建模： http://archive.cloudera.com/cdh5/cdh/5/hadoop/api/org/apache/hadoop/util/Tool.html （苛刻的J）

http://community.cloudera.com/t5/Batch-Processing-and-Workflow/How-to-change-the-log-level-of-a-MR-job/m-p/59245#M3264?eid=3&aid=1