Question

大家好，我正在使用用于Postgres的Kafka JDBC Source连接器。以下是我的连接器配置。一些它不带任何数据的方式。这种配置有什么问题？

{
    "name": "test-connection",
    "config": {
       "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
       "mode": "timestamp",
       "timestamp.column.name": "TEST_DT",
       "topic.prefix": "test",
       "connection.password": "xxxxxx",
       "validate.non.null": "false",
       "connection.user": "xxxxxx",
       "table.whitelist": "test.test",
       "connection.url": "jdbc:postgresql://xxxx:5432/xxxx?ssl=true&stringtype=unspecified",
       "name": "test-connection"
},
  "tasks": [],
  "type": "source"
}

我是否需要创建主题或主题会自动生成？

我希望基于示例，数据正在流动，但数据没有流动。以下是我在kafka连接中看到的日志。但是，没有数据流入。

日志

[2019-07-07 20：52：37,465] INFO WorkerSourceTask {id = test-connection-0}提交偏移量（org.apache.kafka.connect.runtime.WorkerSourceTask） [2019-07-07 20：52：37,465]信息WorkerSourceTask {id = test-connection-0}刷新0条未完成的消息以进行偏移提交（org.apache.kafka.connect.runtime.WorkerSourceTask）

Answer 1

我是否需要创建主题或主题会自动生成？

它会自动使用您在"topic.prefix": "test"中设置的“测试”前缀生成

所以您的主题称为“ testtest-connection”或“ testtest.test”

您可能正在使用Avro模式，如果这样，则必须与Avro使用者一起使用该主题。

Kafka Connect JDBC源连接器不起作用

1 个答案: