如何在Flink中获得KafkaSource的吞吐量？

Question

我想知道KafkaSource的吞吐量。换句话说，我想测量flink读取数据的速度。我的想法是在Source后面添加一个地图运算符，并在地图运算符中使用内置的指标。这会增加开销吗？我希望获得此指标而不会增加很多开销。我该怎么办？还是有办法在kafka中获得此主题的输出吞吐量？还是应该通过REST API获取KafkaSource的NumberOutPersecond？

Answer 1

看看Kafka Manager，其中显示了许多与Kafka相关的指标。这是一个用于管理Kafka并用作实时仪表板的工具。您需要单独安装和配置。

这可用于检查Flink消费者的消费率。

您还可以使用源运算符上的内置指标发布器，而不必仅为此目的使用地图。