Question

我最近使用docker映像设置了cloudera quickstartVM并在其中设置了Kafka包裹。成功安装后，我看到所有服务都以绿色运行（包括Kafka和zookeeper）。但是，当我遵循以下kafka CLI命令时，我看不到消费者收到消息。

任何帮助都将不胜感激 CDHv 5.13 CDK 4.0（kafka 2.1）-包裹。

kafka-topics --create quickstart.cloudera:9092 --replication-factor 1 --partitions 1 --topic test3 --zookeeper quickstart.cloudera:2181

主题已成功在控制台上创建。

Console Consumer (CLI terminal 1):
kafka-console-consumer --bootstrap-server quickstart.cloudera:9092 --topic test3

消费者在1号航站楼的控制台上开始

Console Producer:
kafka-console-producer --broker-list  quickstart.cloudera:9092 --topic test3

在终端2中创建的生产者。现在，当我在终端2（生产者）的控制台中键入任何内容时，消费者终端将不显示任何内容。

请在此处建议缺少的内容。我不确定如何调试这种情况。

在/var/log/kafka/kafka-broker-quickstart.cloudera.log文件中没有看到任何异常

19/05/07 09:18:28 INFO zookeeper.ClientCnxn: Socket connection established, initiating session, client: /172.17.0.2:60968, server: quickstart.cloudera/172.17.0.2:2181
19/05/07 09:18:28 INFO zookeeper.ClientCnxn: Session establishment complete on server quickstart.cloudera/172.17.0.2:2181, sessionid = 0x16a915bca140112, negotiated timeout = 30000
19/05/07 09:18:28 INFO zookeeper.ZooKeeperClient: [ZooKeeperClient] Connected.
Topic:test4     PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: test4    Partition: 0    Leader: 37      Replicas: 37    Isr: 37
19/05/07 09:18:28 INFO zookeeper.ZooKeeperClient: [ZooKeeperClient] Closing.
19/05/07 09:18:28 INFO zookeeper.ClientCnxn: EventThread shut down
19/05/07 09:18:28 INFO zookeeper.ZooKeeper: Session: 0x16a915bca140112 closed
19/05/07 09:18:28 INFO zookeeper.ZooKeeperClient: [ZooKeeperClient] Closed.

这是

的输出

kafka-topics --zookeeper quickstart.cloudera:2181 --describe --topic test3

Answer 1

我删除了CDK4.0包裹，而是添加了CDK 3.1包裹。现在，控制台使用者正在工作。不确定CDK 4.0有什么问题。 CDK 3.1引入了Kafka 1.0.1

Answer 2

使用cloudera quickstart VM进行IFF，在cloudera Manager-> kafka配置中，将“偏移提交主题复制因子”（offsets.topic.replication.factor）更改为1

kafka控制台使用者未从控制台生产者接收消息

2 个答案: