apache flink DataSet窗口聚合

Question

我使用DataSet API来读取大量文件并将它们放入cassandra。

在其中一个步骤中，我做了很多HTTP请求，我想知道我每秒发送多少请求。

使用Stream API，使用滑动窗口非常简单，但是如何使用DataSet API执行相同操作？

Answer 1

您可能需要查看Flink's metrics system。它具有衡量费率的Meter指标类型，即某些事件随时间发生的频率。

不幸的是，Meter指标尚未包含在Flink版本中，但仅在当前主分支中可用（Flink 1.2 SNAPSHOT）。所以你需要自己建立Flink。有关详细信息，请参阅documentation。