JMX导出Mapreduce指标

Question

我正在尝试使用JMX导出Hadoop集群的指标。它与HDFS和resourceManager一起使用。将其添加到HADOOP_OPTS，HADOOP_NAMENODE_OPTS，HADOOP_DATANODE_OPTS和YARN_RESOURCEMANAGER_OPTS。

如何导出作业的Mapreduce指标？我想导出作业操作，例如maps和reduces。作为在下一张图片中显示Job UI的指标：

Answer 1

如注释中所提示，您将必须在程序驱动程序（运行器）上设置此配置，以便将其传播到映射器/还原器：

configuration.set("mapreduce.map.java.opts", "-Xmx1600m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8008");

同样，对于减速器，可以将变量设置为mapreduce.reduce.java.opts。

查看是否有效。只需登录到运行作业的数据节点之一即可；并运行ps aux | grep 8008，以查看在映射器或化简器进程上是否正确设置了JMX端口。

注意：同一台机器不能两次导出同一端口。您将必须确保不会发生这种情况。