Question

当我使用kafka 0.9.0.1运行以下命令时，我收到此警告[1]。你能告诉我我的主题有什么问题吗？（我和在ec2中运行的kafka经纪人交谈）

#./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?

[1]

[2016-04-06 10:57:45,839] WARN Error while fetching metadata with correlation id 1 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,066] WARN Error while fetching metadata with correlation id 3 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,188] WARN Error while fetching metadata with correlation id 5 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
[2016-04-06 10:57:46,311] WARN Error while fetching metadata with correlation id 7 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)

Answer 1

您的主题名称无效，因为它有字符“？”这不是主题名称的合法字符。

Answer 2

当我们的生产者无法生产到各自的地址时，请在/kafka/config/server.properties中检查所通告的侦听器的值，如果将其注释掉，则还有其他问题。但是，如果没有，请把您的IP地址替换为localhost，然后重新启动zookeeper和kafka 尝试启动控制台生产商，希望它能正常工作。

Answer 3

以防万一有人遇到与逗号“,”相关的问题，并将logstash输出到kafka或计算出的主题名称：

在 kafka 的 logstash 输出的 topic_id 中，我们尝试创建 topic_id，并附加我们在过滤器中计算的变量。

问题是该字段已经存在于源文档中，我们稍后将其“再次”添加到 logstash 过滤器中，将字符串字段转换为哈希（数组/列表）。

正如我们在 logstash 输出中使用的那样

topic_id => ["topicName_%{field}"]

我们最终得到：

topic_id : "topicName_fieldItem1,FieldItem2"

导致logstash日志异常的原因

[WARN ][org.apache.kafka.clients.NetworkClient] [Producer clientId=logstash] Error while fetching metadata with correlation id 3605264 : {topicName_fieldItem1,FieldItem2=INVALID_TOPIC_EXCEPTION}

WARN获取具有相关ID 1的元数据时出错：{MY_TOPIC？= INVALID_TOPIC_EXCEPTION}（org.apache.kafka.clients.NetworkClient）

3 个答案: