Hadoop hprof输出只有标题

时间:2015-03-11 17:53:27

标签: java azure hadoop yarn hprof

我正在尝试分析在Azure HDInsight(HDP 2.2)上运行的MapReduce作业。我真正想要的只是一个减少任务的轮廓(虽然多个会更好)。

以下是我目前正在使用的配置设置:

mapreduce.task.profile=true
mapreduce.task.profile.params=-agentlib:hprof=cpu=samples,depth=100,interval=7,lineno=y,thread=y,force=n,file=d:/profile.out

首先,似乎在过去的hadoop版本中,作业客户端用于将配置文件输出文件复制回作业提交的位置,但现在不再是这种情况了。我必须去任务节点找到它们(因此将它们放在一个更容易找到的目录中的原因)。不确定这是不是一个错误。

但问题是输出文件只有配置文件头。它是关于hprof是什么以及文件包含什么的一堆信息,然后没有内容。当我使用相同的配置文件参数在本地运行一个简单的java程序时,我确实得到了实际的内容。

纱线容器环境是否有异常可能阻止hprof写出其输出?也许任务jvms奇怪地退出了?有什么办法可以改变吗?

0 个答案:

没有答案