为Kafka Connect S3接收器连接器定义自定义格式

时间:2019-10-28 18:02:04

标签: java xml apache-kafka apache-kafka-connect

我想使用kafka connect s3接收器连接器将主题数据传输到s3存储桶。主题内的数据将是xml消息。根据连接器配置,我们可以定义消息的格式(例如:JsonFormat)

根据相关文档,我们似乎可以通过实现
来定义自定义格式 io.confluent.connect.storage.format.Format.

我正在浏览像JsonFormat这样的可用格式代码,看起来格式的实际逻辑在JsonRecordWriterProvider中,该实现是 io.confluent.connect.storage.format.RecordWriterProvider

我看到RecordWriter编写的实现是在SinkRecord.value()上应用JsonConvertor转换方法。

我们怎么知道SinkRecord包含什么,我们是否可以编写xmlconvertor并将SinkRecord.value()转换为dom对象等?

您可以使用任何参考实现一个参考吗?

我正在浏览confluent提供的代码。

https://github.com/confluentinc/kafka-connect-storage-cloud/tree/master/kafka-connect-s3/src/main/java/io/confluent/connect/s3/format

0 个答案:

没有答案