Question

在使用Kafka Mongo Source Connector时，我们遇到了一个奇怪的错误。此配置..：

{
   "name": "mongo-src",
   "config": {
       "tasks.max":1
      "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
      "key.converter":"org.apache.kafka.connect.storage.StringConverter",
      "value.converter":"org.apache.kafka.connect.storage.StringConverter",
      "connection.uri":[THE CONNECTION URL]
      "database":"foo",
      "collection":"bar"
      "pipeline":"[{\"$match\": { \"$or\": [ {\"operationType\": \"insert\"}, {\"operationType\": \"replace\"}]}}]",
      "topic.prefix": "my.prefix"
  }
}

..导致以下错误：

[2020-06-29 03:51:48,923] WARN [mongo-src|task-0] [Producer clientId=connector-producer-mongo-src-0] Error while fetching metadata with correlation id 2341 : {my.prefix.5eb208a381fe801e314ee9bd_foo.bar=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1063)

并非总是如此。有时会寻求正确的主题。其他时间都在寻找。然后，该连接器起作用，而另一个内部生产者尝试连接到该不存在的主题。

令人沮丧的是，尽管删除了（连接器），连接器的错误生产者仍在继续尝试，从而导致kafka连接日志文件受到污染。仅重启群集节点即可解决此问题。

这种行为听起来对任何人都熟悉吗？

主题映射错误Kafka Connect Mongo源连接器

0 个答案: