在保存数据库连接器的同时转换Kafka主题数据

时间:2018-03-20 05:55:40

标签: apache-kafka apache-kafka-connect confluent

我正在推送关于Kafka Topic Say TEST的数据,然后使用汇合接收器我将它保存在oracle db上。现在我需要在保存数据的同时转换数据。

我有一个请求对象和一个事务ID ...我将该事务id保存为键,将Request对象保存为值。我需要将它转换为oracle db row的以下列:
{transaction id , request object , timestamp}..我们如何配置它?

1 个答案:

答案 0 :(得分:1)

我认为,您可以在此处使用KafkaStreams 转换:定义您的自定义转换器类,以便在存储到数据库之前更改输入记录。

看看这里:http://kafka.apache.org/documentation.html#connect_transforms

在这里:

https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/