如何从Kafka将MessagePack编码的消息下沉到MongoDB中

时间:2020-06-18 20:38:54

标签: mongodb apache-kafka apache-kafka-connect msgpack mongodb-kafka-connector

我有一个Kafka主题,其中的值是MessagePack编码的。

是否可以使用MongoDB Kafka连接器将记录从该主题下沉到MongoDB中,还是必须将记录值简单地存储为JSON?

1 个答案:

答案 0 :(得分:1)

您将需要找到或创建自己的Kafka Connect Converter,然后将该软件包添加到每个Connect工作人员的类路径中,然后将其设置为键/值转换器设置,现有的Mongo Sink Connector可以从中进行设置将邮件反序列化为StructSchema形式,并正确处理。

JSON从来都不是必需的。 Avro和Protobuf也应该工作