将kafka主题中的小消息合并为大文件

Question

我有一个kafka主题，其中包含很多消息。

1. 第一步，我想将它们合并为旋转文件的大小（10MB），或者如果没有消息，则基于时间的旋转文件（最多1小时）
2. 第二步，每次合并后，我想使用文件的URL向其他Kafka主题添加一条消息。

我知道我可以通过kafka-connector进行组合，但是我不能基于大小进行组合，只能基于时间进行组合。 kafka-connector的另一个问题是我找不到任何方法来满足“ 第二步”

有什么想法的人吗？

Answer 1

合并消息没有任何目的。

Kafka邮件的默认最大邮件大小为1MB。

Kafka并不意味着文件传输。如果必须这样做，请使用您所说的URI，或将Apache NiFi添加到您的处理中。

不清楚您指的是什么Kafka连接器