我遇到的问题是我的M / R作业任务因堆空间错误而失败,而作业配置列出了应该影响它的2个属性:
mapred.child.java.opts=-Xmx200m
mapreduce.map.java.opts=-Xmx2048m
第一个是遗留配置,最终在job.xml中知道如何,第二个是我的工作配置。我正在使用oozie提交作业,它以某种方式将这两种配置放在......
中有没有办法检查这两个配置中的哪一个实际用于我的map任务的java opts?是否有一个日志可能或一种方式来分析jvm以便查看它?我需要知道这一点,以排除我的代码中的错误可能导致堆空间错误。
答案 0 :(得分:0)
当作业完成时,hdfs上的mapreduce历史服务器目录中应该有一个job_xxx.conf.xml文件。否则你可以在运行时的/user//.staging/jobid/下的用户hdfs目录中找到这个文件