如何使用Prometheus指标监控Grafana中的Flink背压

时间:2019-03-13 10:38:28

标签: apache-flink grafana prometheus flink-streaming

Flink Web UI具有出色的反压部分。但是我看不到Prometheus记者提供的任何指标,这些指标可以用于Grafana仪表板的相同方式来检测背压。

enter image description here 有什么方法可以在Flink Web UI之外获得相同的指标?使用此处https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html所述的指标。甚至还有一个Prometheus刮板来刮Web API?

1 个答案:

答案 0 :(得分:3)

Flink仪表板中显示的反压力监控未使用指标系统,因此无法通过MetricsReporter获得这些值。但是您可以通过REST api访问此信息,网址为

/jobs/:jobid/vertices/:vertexid/backpressure

尽管此反压检测机制很有用,但确实有其局限性。它通过调用Thread.getStackTrace()来工作,这很昂贵,并且某些运算符(例如AsyncFunction)在未采样的线程中执行关键活动。

调查背压的另一种方法是在flink-conf.yaml中设置此配置选项

taskmanager.network.detailed-metrics: true

,然后您可以查看度量入站/出站网络队列长度的指标。