如何避免在节点上填写hadoop日志？

Question

当我们的级联作业遇到数据错误时，它们会抛出各种异常......这些异常最终会出现在日志中，如果日志填满，则群集会停止工作。我们是否有任何配置文件需要编辑/配置以避免这种情况？

我们正在使用MapR 3.1.0，我们正在寻找一种限制日志使用（syslogs / userlogs）的方法，而不使用集中式日志记录，而无需调整日志记录级别，我们对它是否保留日志不太感到困扰前N个字节，或最后N个字节的日志和不和谐仍然是其中的一部分。

我们并不关心日志，我们只需要第一个（或最后一个）几个Megs来找出问题所在。我们不想使用集中式日志记录，因为我们并不真的想保留日志/不关心花费复制它们的性能开销。另外，如果我错了，请纠正我：user_log.retain-size，在使用JVM重用时会出现问题。

任何线索/答案都将非常感谢!!

谢谢，

SRINIVAS

Answer 1

这可能应该在不同的StackExchange网站中，因为它更像是DevOps问题，而不是编程问题。

无论如何，您需要的是DevOps来设置logrotate并根据您的需要进行配置。或者编辑群集上的log4j xml文件以更改记录完成的方式。