无法在多节点Kafka群集中发送/接收消息

时间:2016-07-28 07:38:36

标签: cluster-computing apache-kafka apache-zookeeper

我有一个多节点kafka集群,我能够创建主题 成功,这在zookeeper日志中很明显。但我无法发送/接收某些主题的消息,即使它们已创建。

此外,我还没有看到在3个节点中属于任何kafka代理的/ tmp / kafka-logs目录中为其中某些主题创建的日志。

例如:如果我创建了Topic1 ... Topic5。我能够发送和接收topic3,topic4的消息。我有我的制片人和在node1中运行的使用者。 不知道我在这里做错了吗?

在制片人方面:

private Properties producerConfig() {
  Properties props = new Properties();
  props.put("bootstrap.servers", "host1:9092,host2:9092,host3:9092");
  props.put("acks", "all");
  props.put("retries", 0);
  props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
  props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

return props;
}

消费者方面:

     private Properties createConsumerConfig(String zookeeper, String groupId) {
        Properties props = new Properties();
        props.put("zookeeper.connect", "host1:2181,host2:2181,host3:2181");
        props.put("group.id", groupId);
        props.put("auto.commit.enable", "false");
        props.put("auto.offset.reset", "smallest");

        return props;
      }

多节点群集设置:

我已使用以下说明设置多节点群集。

Host1 :: zk1,kafkabroker1
Host2 :: zk2,kafkabroker2
Host3 :: zk3,kafkabroker3

https://itblog.adrian.citu.name/2014/01/30/how-to-set-an-apache-kafka-multi-node-multi-broker-cluster/

0 个答案:

没有答案