Question

使用Kafka控制台使用者或kt（用于Kafka的GoLang CLI工具）从Kafka主题中消费时，我得到的字符无效。

...
\u0000\ufffd?\u0006app\u0000\u0000\u0000\u0000\u0000\u0000\u003e@\u0001
\u0000\u000cSec-39\u001aSome Actual Value Text\ufffd\ufffd\ufffd\ufffd\ufffd
\ufffd\u0015@\ufffd\ufffd\ufffd\ufffd\ufffd\ufff
...

即使Kafka connect实际上可以将适当的数据存储到SQL数据库。

Answer 1

默认情况下，控制台使用者工具使用ByteArrayDeserializer对消息键和值进行反序列化，但是显然会尝试使用默认格式器将数据打印到命令行。

但是，此工具允许自定义所使用的解串器和格式化程序。请参阅帮助输出中的以下摘录：

--formatter <String: class>              The name of a class to use for
                                           formatting kafka messages for
                                           display. (default: kafka.tools.
                                           DefaultMessageFormatter)
--property <String: prop>                The properties to initialize the
                                           message formatter. Default
                                           properties include:
                                            print.timestamp=true|false
                                            print.key=true|false
                                            print.value=true|false
                                            key.separator=<key.separator>
                                            line.separator=<line.separator>
                                            key.deserializer=<key.deserializer>
                                            value.deserializer=<value.
                                           deserializer>
                                         Users can also pass in customized
                                           properties for their formatter; more
                                           specifically, users can pass in
                                           properties keyed with 'key.
                                           deserializer.' and 'value.
                                           deserializer.' prefixes to configure
                                           their deserializers.
--key-deserializer <String:
  deserializer for key>
--value-deserializer <String:
  deserializer for values>

使用这些设置，您应该能够将输出更改为所需的内容。

Answer 2

鉴于您说

Kafka connect实际上可以将适当的数据存储到SQL数据库中。

我的假设是您正在对主题数据使用Avro序列化。正确配置的Kafka Connect将获取Avro数据并反序列化。

但是，诸如kafka-console-consumer，kt，kafkacat等控制台工具不支持Avro，因此如果出现以下情况，您会得到一堆奇怪的字符您可以使用它们从Avro编码的主题中读取数据。

要通过命令行读取Avro数据，可以使用kafka-avro-console-consumer：

kafka-avro-console-consumer
         --bootstrap-server kafka:29092\
         --topic test_topic_avro \
         --property schema.registry.url=http://schema-registry:8081

编辑：也从@CodeGeas添加建议：

或者，可以通过以下方式使用REST Proxy读取数据：

# Create a consumer for JSON data
curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" \
         -H "Accept: application/vnd.kafka.v2+json" \
         --data '{"name": "my_consumer_instance", "format": "avro", "auto.offset.reset": "earliest"}' \

# Subscribe the consumer to a topic
         http://kafka-rest-instance:8082/consumers/my_json_consumer
curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" \
         --data '{"topics":["YOUR-TOPIC-NAME"]}' \
         http://kafka-rest-instance:8082/consumers/my_json_consumer/instances/my_consumer_instance/subscription

# Then consume some data from a topic using the base URL in the first response.
curl -X GET -H "Accept: application/vnd.kafka.avro.v2+json" \
         http://kafka-rest-instance:8082/consumers/my_json_consumer/instances/my_consumer_instance/records

稍后，要在之后删除使用者：

curl -X DELETE -H "Accept: application/vnd.kafka.avro.v2+json" \
         http://kafka-rest-instance:8082/consumers/my_json_consumer/instances/my_consumer_instance

使用Kafka控制台使用者使用时显示无效字符

2 个答案: