Kafka连接在输出中重复连接的项目

时间:2018-12-08 20:18:12

标签: apache-kafka stream

希望有人可以在这里帮助我

我有一个数据流,需要将其与数据中存在的不同键链接在一起。这些键最终应该链接在一起,我需要输出一个流,并将所有已知键添加到流中的相应数据中。 我创建了一个转换器,可以构建密钥并将它们链接在一起。当我看到完整的键集时,我会将信息包括在转换流数据中。

然后,我设置了一个流,该流标识以前的不完整键集。我创建了一个联接,其目的是使用现在已完成的键集来联接先前的不完全键控数据。然后将它们合并并转发。

我还想在1分钟后发出当时没有设置完整密钥的数据。

我尝试使用左联接,但是发现联接的数据发出了两次(一次合并和原始数据),有没有一种技术可以用来获取联接的数据以及任何在一分钟后不联接的数据,而不会两次获取合并的数据。

0 个答案:

没有答案