我有一个Kafka主题,其中的值是MessagePack编码的。
是否可以使用MongoDB Kafka连接器将记录从该主题下沉到MongoDB中,还是必须将记录值简单地存储为JSON?
答案 0 :(得分:1)
您将需要找到或创建自己的Kafka Connect Converter
,然后将该软件包添加到每个Connect工作人员的类路径中,然后将其设置为键/值转换器设置,现有的Mongo Sink Connector可以从中进行设置将邮件反序列化为Struct
和Schema
形式,并正确处理。
JSON从来都不是必需的。 Avro和Protobuf也应该工作