如何将来自kafka的数据放在一起

Question

1. 例如，我们希望获得很多人的信息，但这些信息分散并发布到 Kafka ，然后使用Java来消费kafka，你可以得到这条数据。

2. 每次获得消费者都可以获得数据如何实时汇编？

3. 合并已汇总的数据并将其发布到 redis 。

Answer 1

使用流处理解决方案，例如Kafka Streams，KSQL，Spark Streaming，Flink等。您使用的解决方案取决于您的偏好以及它是否适合您的特定要求。例如，

• 如果你想用Java编写，你可以使用Kafka Streams，Spark Streaming等。
• 如果您只想使用SQL，可以使用KSQL。
• 如果要使用Python，则使用Spark Streaming，依此类推。

任何好的流处理解决方案都可以在每个事件的基础上工作，因此当数据到达时，它可以被处理并且可以被处理。丰富（假设这是“实时组装”的意思。）

使用Kafka Connect将数据从Kafka传输到Redis。 See here获取连接器列表，或只搜索Google。