Question

使用最新的kafka和汇合的jdbc接收器连接器。发送一个非常简单的Json消息：

{
    "schema": {
        "type": "struct",
        "fields": [
            {
                "type": "int",
                "optional": false,
                "field": "id"
            },
            {
                "type": "string",
                "optional": true,
                "field": "msg"
            }
        ],
        "optional": false,
        "name": "msgschema"
    },
    "payload": {
        "id": 222,
        "msg": "hi"
    }
}

但是得到错误：

org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.

Jsonlint说Json是有效的。我在kafka配置中保留了json schemas.enable=true。有什么指针吗？

Answer 1

您需要告诉Connect您的架构嵌入在您正在使用的JSON中。

你有：

value.converter=org.apache.kafka.connect.json.JsonConverter

但还需要：

value.converter.schemas.enable=true

Answer 2

要使用JDBC接收器，您的流式消息必须具有架构。这可以通过将Avro与Schema Registry一起使用，或者将JSON与模式一起使用来实现。如果在最初运行源属性文件后配置了schemas.enable=true，则可能需要删除主题，重新运行接收器，然后再次启动源端。

示例：

sink.properties档案

name=sink-mysql connector.class=io.confluent.connect.jdbc.JdbcSinkConnector tasks.max=1 topics=test-mysql-jdbc-foobar connection.url=jdbc:mysql://127.0.0.1:3306/demo?user=user1&password=user1pass auto.create=true

和示例工作者配置文件connect-avro-standalone.properties：

bootstrap.servers=localhost:9092 key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable=true value.converter.schemas.enable=true internal.key.converter=org.apache.kafka.connect.json.JsonConverter internal.value.converter=org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable=false internal.value.converter.schemas.enable=false # Local storage file for offset data offset.storage.file.filename=/tmp/connect.offsets plugin.path=share/java

并执行

./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties etc/kafka-connect-jdbc/sink.properties

Kafka jdbc接收器连接器与json架构无法正常工作

2 个答案: