对于Spark配置批处理应用程序,还需要在Java应用程序的Grafana中显示指标

时间:2020-06-10 10:54:55

标签: prometheus grafana prometheus-node-exporter grafana-api prometheus-java

我有一个用例,需要在Grafana中显示我的Java应用程序的矩阵,但是我的是批处理应用程序,而不是时间序列,我的数据存储在关系数据库中。 我怎么可能需要将数据推送到Prometheus之类的某个时间序列,或者有可直接使用的Grafana插件可用?

我还想监视我的spark作业和相关内容,例如驱动器工作程序,JVM等的内存。

是否有任何帮助或线索开始?

1 个答案:

答案 0 :(得分:0)

对于批处理作业,请查看prometheus push gateway。基本上,您的指标将由客户端推送到推送网关(客户端适用于所有通用语言)

对于Spark作业或Java应用程序,您可以查看jmx exporter。 您也可以通过使用Pushgateway的spark exporter来看看这一点

希望这会有所帮助