Kafka与MongoDB Connector连接

时间:2016-12-28 10:17:24

标签: json mongodb apache-kafka apache-kafka-connect

我尝试使用Apache Kafka Connect和MongoDB接收器连接器(connector

当我使用Avro格式时,除了一个问题之外它还有效,我不得不用一个分区创建主题,因为连接器使用record.kafkaOffset()作为新Mongo记录的_id(所以使用多个分区我得到相同的id为不同的记录)。

我该如何解决?

我想用Json测试它,所以我为此创建了一个新主题。并将转换器配置更改为JsonConverter。当我运行它时,我收到以下错误:

  

java.lang.ClassCastException:java.util.HashMap无法强制转换为org.apache.kafka.connect.data.Struct           在org.apache.kafka.connect.mongodb.MongodbSinkTask.put(MongodbSinkTask.java:106)           在org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:280)           在org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:176)           在org.apache.kafka.connect.runtime.WorkerSinkTaskThread.iteration(WorkerSinkTaskThread.java:90)           在org.apache.kafka.connect.runtime.WorkerSinkTaskThread.execute(WorkerSinkTaskThread.java:58)           在org.apache.kafka.connect.util.ShutdownableThread.run(ShutdownableThread.java:82)

此连接器是否适用于Json?

0 个答案:

没有答案