使用Kafka:是否可以通过密钥汇总来自多个生产者的数据?

时间:2019-06-14 18:08:57

标签: apache-kafka

在Kafka中处理大量记录后,记录将分成多个通道进行并行异步操作,然后我需要将每个通道的结果合并在一起。一旦所有结果都可用于给定键,我想将这些检查中的所有数据提取到单个应用程序中。

我是Kafka的新手,但我一直在将Ktables和事务视为协调数据联接的工具。如果我只有所有生产者都向其发送的输出流,那么当给定键的所有结果都可用时,如何通知我的下游应用程序并收集数据。

以下结果可用时,通知下游应用程序:

| Key | Output1 | Output2 | Output3 | | 45678 | True | False | True |

使用Kafka是否有很好的内置方法?

0 个答案:

没有答案