如何修改一个kafka主题的消息并使用java发送到另一个kafka主题？

Question

我创建了一个生产MSG到一个主题A的生产者，我需要的是我想在那个MSG中进行更改并希望将其发送到另一个主题B，我正在尝试通过Kafka流做到这一点，但不确定是不是正确的方式。如果它需要Kafka流，那么请分享应该写的代码？

Answer 1

您可以选择多种方式。

Kafka的Streams API是一种可能性，它的优势在于您不会为项目添加新的依赖项。与程序一样简单stream.map(...).to(...)应该这样做。查看文档和示例以获取更多详细信息：

• http://docs.confluent.io/current/streams/index.html
• https://github.com/confluentinc/examples

您甚至可以使用普通KafkaConsumer和KafkaProducer来完成此操作（但使用Kafka的Streams API似乎比这更自然）。

当然，您也可以使用Apache Flink，Apache Storm，Apache Apex，Heron（或者Apache Spark）等流处理框架 - 当然，还有其他框架。该程序与上面描述的一样简单。但是您需要设置一个处理集群来为这些流处理框架部署作业。

Answer 2

您应该考虑使用Apache storm，它将非常适合您的需求。

我已经使用过它并且效果非常好，并且像卡夫卡牛奶中的水一样凝胶。它也很容易实现。

祝你好运