如何配置Hadoop将MapReduce日志发送到graylog2

Question

我正在使用Hadoop 1.2.1创建一系列链式地图减少作业，这些作业将在我们的生产环境中定期运行。目前，我们正在使用graylog2来集中访问日志，我希望将我作业中的日志发送到我们的日志服务器。

我已将gelfj jar文件添加到/ usr / share / hadoop / lib并修改了/etc/hadoop/task-log4j.properties以将日志输出到graylog但是到目前为止还没有看到任何到达graylog2方面。任何人都可以确认使用备用日志追加器是否可以用于hadoop作业以及应该更新哪个配置文件？

Answer 1

想出来了。

在hadoop配置目录（在我的例子中是/ etc / hadoop）中有一个名为task-log4j.properties的文件。覆盖appender“log4j.appender.TLA”会影响任务的日志输出。