所以我一直试图运行Hadoop MapReduce作业一段时间,在成功开始运行(所有错误整理出来)之后,我想检查日志文件中捕获的stdout的日志文件,但是不知怎的,我发现每次都没有生成日志文件。 (有时它来了,其他时间没有)
我正在使用输出目录(/user/hduser/output_dir
),并删除内容并再次使用它(以避免跟踪这么多输出目录),但日志文件指示上次更改的时间它,这与我上次工作时的情况不符。
此外,/user/hduser/output_dir
中的日志文件与$HADOOP_HOME/logs/userlogs
不匹配
这是一个已知的问题,有没有解决方案?我在任何地方都找不到答案。
谢谢你的帮助。!
编辑 - 所以我们发现日志文件只在一定的时间间隔后才被写入,所以如果一个作业在这段时间内运行两次,那么就不会为此写入新的日志文件。为什么会这样,如果可能的话,如何使用一些配置更改来覆盖它?