如何避免在节点上填写hadoop日志?

时间:2014-06-27 06:46:22

标签: hadoop cascading mapr

当我们的级联作业遇到数据错误时,它们会抛出各种异常......这些异常最终会出现在日志中,如果日志填满,则群集会停止工作。我们是否有任何配置文件需要编辑/配置以避免这种情况?

我们正在使用MapR 3.1.0,我们正在寻找一种限制日志使用(syslogs / userlogs)的方法,而不使用集中式日志记录,而无需调整日志记录级别,我们对它是否保留日志不太感到困扰前N个字节,或最后N个字节的日志和不和谐仍然是其中的一部分。

我们并不关心日志,我们只需要第一个(或最后一个)几个Megs来找出问题所在。我们不想使用集中式日志记录,因为我们并不真的想保留日志/不关心花费复制它们的性能开销。另外,如果我错了,请纠正我:user_log.retain-size,在使用JVM重用时会出现问题。

任何线索/答案都将非常感谢!!

谢谢,

SRINIVAS

1 个答案:

答案 0 :(得分:0)

这可能应该在不同的StackExchange网站中,因为它更像是DevOps问题,而不是编程问题。

无论如何,您需要的是DevOps来设置logrotate并根据您的需要进行配置。或者编辑群集上的log4j xml文件以更改记录完成的方式。