更新

Question

我正在尝试根据this tutorial

创建自定义指标变量

使用提供的示例代码，我可以获取事件和直方图。

我对Prometheus和grafana如何使用标识符感到困惑。我还尝试稍微修改示例代码，但是该指标不再起作用。

此外，我只能访问系统指标，而不能访问我自己的指标。

我的问题是：

如何访问我创建的计数器？例如counter1
metricGroup到底是什么？
例如，我想检测一个模式从输入流中，并且在度量或仅将结果输出到时间序列数据库，例如 influxdb？

提前谢谢。

这是地图功能

class FlinkMetricsExposingMapFunction extends RichMapFunction<SensorReading, SensorReading> {
  private static final long serialVersionUID = 1L;

  private transient Counter eventCounter;
  private transient Counter customCounter1;
  private transient Counter customCounter2;

  @Override
  public void open(Configuration parameters) {
    eventCounter = getRuntimeContext()
        .getMetricGroup().counter("events");

    customCounter1 = getRuntimeContext()
        .getMetricGroup()
        .addGroup("customCounterKey", "mod2")
        .counter("counter1");
    customCounter2 = getRuntimeContext()
        .getMetricGroup().addGroup("customCounterKey", "mod5").counter("counter2");



//    meter = getRuntimeContext().getMetricGroup().meter("eventMeter", new DropwizardMeterWrapper(dropwizardMeter));
  }

  @Override
  public SensorReading map(SensorReading value) {
    eventCounter.inc();
    if (value.getCurrTimestamp() % 2 == 0)
      customCounter1.inc();

    if (value.getCurrTimestamp() % 5 == 0)
      customCounter2.inc();

    if (value.getCurrTimestamp() % 2 == 0 && value.getCurrTimestamp() % 5 == 0)
      customCounter1.dec();
    return value;
  }
}

示例作业：

env
        .addSource(new SimpleSensorReadingGenerator())
        .name(SimpleSensorReadingGenerator.class.getSimpleName())
        .map(new FlinkMetricsExposingMapFunction())
        .name(FlinkMetricsExposingMapFunction.class.getSimpleName())
        .print()
        .name(DataStreamSink.class.getSimpleName());

更新

来自grafana的访问flink指标的屏幕截图：

flink-config.yaml

FROM flink:1.9.0
RUN echo "metrics.reporters: prom" >> "$FLINK_HOME/conf/flink-conf.yaml"; \
    echo "metrics.latency.interval: 1000" >> "$FLINK_HOME/conf/flink-conf.yaml"; \
    echo "metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter" >> "$FLINK_HOME/conf/flink-conf.yaml"; \
    mv $FLINK_HOME/opt/flink-metrics-prometheus-*.jar $FLINK_HOME/lib
COPY --from=builder /home/gradle/build/libs/*.jar $FLINK_HOME/lib/

教程中的默认地图功能：

 @Override
 public void open(Configuration parameters) {
    eventCounter = getRuntimeContext().getMetricGroup().counter("events");
    valueHistogram =
        getRuntimeContext()
            .getMetricGroup()
            .histogram("value_histogram", new DescriptiveStatisticsHistogram(10_000_000));
 }

Answer 1

您创建的计数器可由<system-scope>. customCounterKey.mod2.counter1访问。 <system-scope>在您的flink-conf.yaml中定义。如果未定义，则默认值为<host>.taskmanager.<tm_id>.<job_name>.<operator_name>.<subtask_index>。
度量标准组基本上定义了度量标准名称的层次结构。根据文档，度量标准组是度量标准的命名容器。它由3个部分（范围）组成：系统范围（在flink-conf.yaml中定义），用户范围（无论在addGroup()中定义什么）和度量标准名称。
这取决于您要测量的内容。对于您可以检测到的计数器，压力表或仪表的所有内容，我都会使用指标。如果是直方图，那么使用普罗米修斯记者时，您应该更仔细地了解从flink获得的结果。 Flink概括了所有不同的度量框架-普罗米修斯实现直方图的方式与例如石墨。桶的定义由flink给出，据我所知不能更改（尽管有一些反射魔术）。

所有这些都在这里更详细地描述：https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html#registering-metrics

希望有帮助。

如何将Flink用户自定义指标导出到Prometheus和grafana

更新

1 个答案: