numLateRecordsDropped:对运营商意味着什么

时间:2019-11-07 06:01:33

标签: apache-flink flink-streaming

enter image description here

这里有多个任务。任务之一是BookingInfoWithFraudAndDefaultAndMainSP -> TSAndWMBookingWithSPObjects。让我们称之为task-1。在任务1中,我分配了一个时间戳并生成水印,我使用BoundedOutOfOrdernessTimestampExtractormaxOutOfOrderness等于2分钟。

下一个运算符是我在窗口上显示数据并在其上进行一些聚合的地方,然后汇总到Kafka。让我们称之为“聚合和接收”的链式任务Task-2

numLateRecordsDropped:查看该指标,该指标告诉The number of records this operator/task has dropped due to arriving late

问题:当我窗口元素时,我分配了0个允许的延迟。因此它可能删除了一些元素。但是,当我查看度量标准时,由于window不是运算符,因此没有度量标准可以判断窗口删除了多少个元素。

当我查看任务2指标时,它显示了numLateRecordsDropped的计数。这是什么意思。 Window聚合任务如何删除记录。或者,由于它是聚合窗口,因此计数基本上是窗口丢弃的记录数。

0 个答案:

没有答案