如何检查YARN mapreduce任务最大堆大小设置

时间:2014-02-02 11:33:38

标签: java hadoop mapreduce yarn

我遇到的问题是我的M / R作业任务因堆空间错误而失败,而作业配置列出了应该影响它的2个属性:

mapred.child.java.opts=-Xmx200m
mapreduce.map.java.opts=-Xmx2048m

第一个是遗留配置,最终在job.xml中知道如何,第二个是我的工作配置。我正在使用oozie提交作业,它以某种方式将这两种配置放在......

有没有办法检查这两个配置中的哪一个实际用于我的map任务的java opts?是否有一个日志可能或一种方式来分析jvm以便查看它?我需要知道这一点,以排除我的代码中的错误可能导致堆空间错误。

1 个答案:

答案 0 :(得分:0)

当作业完成时,hdfs上的mapreduce历史服务器目录中应该有一个job_xxx.conf.xml文件。否则你可以在运行时的/user//.staging/jobid/下的用户hdfs目录中找到这个文件