Kafka Connect中的飞行中消息转换

时间:2019-03-04 05:22:39

标签: apache-kafka apache-kafka-connect

对于一项要求,我们将以下数据管道放在一起。
IBM MQ(源)-> Kafka Connect->流API(Kafka / Flink / Spark)-> DB(接收器)。
我想检查是否有任何选项可以在Kafka Connect层或在消息到达kafka / kafka connect集群之前执行消息编码转换(自定义)。
该选项不应给数据管道增加明显的延迟。

1 个答案:

答案 0 :(得分:1)

是的,您所描述的是Kafka Connect的单消息转换功能。各种变换ship with Apache Kafka,您可以write your own