EndOfStream在完成keyby之后为true

时间:2019-08-04 01:58:57

标签: apache-flink flink-streaming

我为处理错误记录定义了管道。

kafkasource-平面图-keyby -sink。

我所有的错误记录都在主题中,并且必须根据结束偏移量标记kafka流的结束。 在作业运行时将endoffset传递给KeyedDeserializationSchema。因此,我已经在KeyedDeserializationSchema中实现了isEndOfStream来停止流,否则它可能陷入无限循环,因为在错误处理期间可能会出现错误,并且该错误将回传到同一主题。

完成后必须保留有关处理状态的作业摘要报告 成功处理了多少错误记录并将失败计数计入db。

这里的问题,keyby在不同的线程上运行,因此在keyby完成之前,流的结束被标记为true 加工。因为每个键都“完全属于”键运算符的一个并行实例,并且它在不同的实例上运行 线。完成keyby后如何将EndOfStream标记为true? 并行度1和keyby最大并行度也为1。

0 个答案:

没有答案