Question

我试图分析我的hadoop作业的内存使用情况。

有人可以提供有关如何使用yourkit监控hadoop任务的一步一步的操作方法 - 包括设置吗？

Answer 1

您所要做的就是将以下条目添加到mapred-site.xml文件中（如果在$ HADOOP_HOME / conf /中找到，其中$ HADOOP_HOME是您的Hadoop安装目录）：

<property>
  <name>mapred.child.java.opts</name>
  <value>
 -agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory}
 </value>
</property>

如果您在不同于linux-x86-64的平台上运行，则可能需要更改上述值以匹配您的平台（有关详细信息，请参阅this）

您可以将here中列出的任何选项传递给探查器代理

这将创建许多快照，一个用于指定输出目录中的每个子进程

如何使用yourkit配置hadoop任务

1 个答案: