mongodb kafka 源连接器 - 管道未按预期工作

时间:2021-07-06 17:08:48

标签: mongodb apache-kafka apache-kafka-connect

我正在尝试仅将符合特定条件的 MongoDB 文档推送到 Kafka。当我不为“管道”属性添加任何配置时,我将所有文档推送到 Kafka。当我添加配置来过滤匹配条件时,我没有得到任何结果。 这是我的连接器配置:

name=MongoDBSourceConnector
tasks.max=1
connector.class=com.mongodb.kafka.connect.MongoSourceConnector
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
connection.uri=mongodb://myconnectionstring
database=mydb
collection=mycollection
publish.full.document.only=true
pipeline=[ { $match: { title: "mytitle"} } ]
copy.existing.pipeline=[ { $match: { title: "mytitle"} } ]
copy.existing=true

我正在关注此文档:https://docs.mongodb.com/kafka-connector/current/kafka-source/ 我在 Kafka Connector 日志上没有收到任何错误。 知道我在这里做错了什么吗?

1 个答案:

答案 0 :(得分:0)

问题在于“”。 MongoDb 操作符应该没有引号,字段应该有它:

pipeline=[ { $match: { "title": "mytitle"} } ]

copy.existing.pipeline=[ { $match: { "title": "mytitle"} } ]