关于Flink的两个术语

Question

任何人都可以帮助验证以下各项的条款吗？

• 事件时间与事件的获取时间之间的持续时间。我做了一个叫做“排队时间”的词。
• 当前时间戳和正在进行的窗口中最后一个事件的时间之间的持续时间。我做了一个叫做“空闲时间”的词。

我的用词正确吗？非常感谢您的建议。

我目前正在撰写有关Flink的一些文档。

Answer 1

我认为这些术语在某些情况下效果很好，但总的来说，我有些保留。例如，考虑批处理或在流式应用程序中重新存储历史数据。 “排队时间”是否有意义地描述了这种情况下事件时间与摄取时间之间的持续时间？也许吧，也许不是。或考虑中断后开始恢复的情况：那一刻，当前时间戳和窗口中的最后一个事件之间的差异不是由于空闲的源，而是由于停机。

在第一种情况下，您会觉得您的兴趣是描述和衡量不同的延迟源。在这种情况下，我认为区分发布延迟（事件创建和事件在队列中存储之间的时间），摄取延迟（从发布到消息代理程序到随后将其提取到Flink之间的时间）和处理延迟，这是Flink处理事件所花费的时间。处理延迟是由水印，序列化，网络缓冲，检查点屏障对齐，两阶段提交等引起的。

我不太清楚 idle time 的意图，但也许可以将其定义为自摄取上一个事件以来flink源所经过的时间，或相对于任何特定操作员实例的时间，即自上次收到事件以来的时间。