Question

我正在尝试以prometheus格式导出spark（2.4.0）自定义指标。我找到了本指南https://argus-sec.com/monitoring-spark-prometheus/ 在我的本地PC（Windows）上运行，我能够在visualVM和spark的json中查看我的指标http：// localhost：4040 / metrics / json /

我的问题是JMX导出器（https://github.com/prometheus/jmx_exporter/blob/master/README.md）根本没有任何迹象表明它处于活动状态。我在spark conf中添加了以下内容：

val conf = new SparkConf()                                                  
val metrics  =  Map("spark.metrics.conf" -> "<pathOnMyPC>\metrics.properties")
val prometheus = Map("spark.driver.extraJavaOptions" -> "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8090 -Dcom.sun.management.jmxremote.rmi.port=8091 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=localhost -javaagent:<pathOnMyPC>jmx_prometheus_javaagent-0.13.0.jar=8095:<pathOnMyPC>\prometheus-config.yaml")
conf.setAll(metrics)
conf.setAll(prometheus)

我的prometheus-config.yaml文件没有规则显示所有内容，只是为了查看数据是否已提取。

---
lowercaseOutputName: true
attrNameSnakeCase: true

我看不到来自JMX导出器的任何日志，并且无法访问http：// localhost：8095 / metrics。请指教：）

通过Prometheus JMX导出器导出Spark自定义指标

0 个答案: