什么时候Kafka连接需要ZooKeeper配置?

时间:2016-11-10 18:14:59

标签: java console apache-kafka apache-zookeeper

Kafka console consumer似乎要求您指定要连接到的ZooKeeper实例:

./kafka-console-consumer.sh --zookeeper myzk.example.com:2181 --topic mytopic

但显然可以通过Java API直接连接到Kafka代理:

public class KafkaClient {
  public static void main(String[] args) {

    String topic = "mytopic";

    Properties props = new Properties();
    props.put("bootstrap.servers", "kafka.example.com:9092");
    props.put("acks", "all");
    props.put("retries", 0);
    props.put("batch.size", 16384);
    props.put("linger.ms", 1);
    props.put("buffer.memory", 33554432);
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

    Producer<String, String> producer = new KafkaProducer<>(props);

    Callback cb = new Callback() {
        @Override
        void onCompletion(RecordMetadata rdata, Exception exc) {
            if(exc) {
                throw exc;
            }
        }
    }

    producer.send(new ProducerRecord<String, String>(topic, 'somekey', 'someval'), cb);
    producer.close();
  }
}

有没有办法在不指定ZK节点的情况下运行消费者?如果没有,为什么?

1 个答案:

答案 0 :(得分:4)

这取决于使用哪个版本的使用者API。从最新的Kafka版本0.10.1开始,直接针对代理的新API是控制台消费者使用的默认值。 0.10.1之前的版本默认使用较旧的API定位Zookeeper,但可以通过使用命令指定参数(例如--new-consumer--bootstrap-server someBroker:9092)来设置为控制台使用者使用新的使用者API。