我第一次尝试设置hadoop-3.0.0(Yarn和Map Reduce)。我想查看系统的JobHistory日志,它可以作为输入提供给Rumen。
我正在Pseudo-Distributed_Operation执行我的执行。
我已根据建议here启用了Yarn日志聚合。
This文章讨论了可以找到日志的位置。它说它位于hdfs中的以下目录中。
/user/uname/.staging/job_id/
但是,我无法找到此目录。以下是我收到的错误消息。
bin/hdfs dfs -ls /user/uname/.staging
ls: `/user/uname/.staging': No such file or directory
我也尝试在本地文件系统中搜索/user/uname/.staging。但是,我得到了相同的目录不存在错误。(这很明显,因为我没有创建任何。)但是,我已经在HDFS系统中创建/ user / uname(在进行设置和/ user / uname /时)确实存在,但找不到其中的.staging子目录。)
This stackoverflow回答确实讨论了类似的问题,但不是很清楚我怎样才能使它适应我的问题而且这也适用于旧版本的Hadoop而且它似乎不适用于Hadoop的3.0.0
任何帮助都将不胜感激。