Flink Web UI具有出色的反压部分。但是我看不到Prometheus记者提供的任何指标,这些指标可以用于Grafana仪表板的相同方式来检测背压。
有什么方法可以在Flink Web UI之外获得相同的指标?使用此处https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html所述的指标。甚至还有一个Prometheus刮板来刮Web API?
答案 0 :(得分:3)
Flink仪表板中显示的反压力监控未使用指标系统,因此无法通过MetricsReporter获得这些值。但是您可以通过REST api访问此信息,网址为
/jobs/:jobid/vertices/:vertexid/backpressure
尽管此反压检测机制很有用,但确实有其局限性。它通过调用Thread.getStackTrace()来工作,这很昂贵,并且某些运算符(例如AsyncFunction)在未采样的线程中执行关键活动。
调查背压的另一种方法是在flink-conf.yaml中设置此配置选项
taskmanager.network.detailed-metrics: true
,然后您可以查看度量入站/出站网络队列长度的指标。