我收到“事件丢失,迟到5051毫秒。”
我应该如何构建处理所有事件的管道,而不管它们迟到了。
我尝试了几种方法。基本上,我尝试过的是
基本上,这里有2个问题:1)如何将新事件合并到接收器中的现有事件2)不删除事件或覆盖事件。
代码:
WindowDefinition customWindow = WindowDefinition.sliding(60000, 30000);
customWindow.setEarlyResultsPeriod(1000);
StreamStage<Map.Entry<...>> updatedState = p
.drawFrom(<source>)
.withIngestionTimestamps()
.groupingKey(...)
.window(customWindow)
.aggregate(AggregateOperations.toCollection(ArrayList::new))
.mapUsingIMap(...)
.sink(...)