使用Prometheus JMX代理从在单个节点上运行的多个Spark执行者导出指标

Question

我正在运行spark集群，并且我有一个节点，该节点上正在运行三个执行程序。我想使用Prometheus JMX代理为所有三个执行器的指标进行剪贴。我正在火花提交命令中使用“ spark.executor.extraJavaOptions”传递Prometheus Java代理，如下所示。

--conf "spark.executor.extraJavaOptions=-javaagent:/opt/agent/jmx_prometheus_javaagent-0.3.1.jar=6677:/opt/agent/spark.yml" 

我正在传递端口，因为6677，并且JMX度量标准仅适用于一名执行者。对于其他两个执行程序，javaagent将失败，因为端口6677已在使用中，并且将不报告其他两个执行程序的度量标准。有人可以指导我如何解决这个问题。我发现了类似的问题here，但没有答案。

Answer 1

为其他2个执行程序使用不同的端口吗？您不能在同一端口上监听3台服务器，这与Prometheus或JMX无关。