Question

我在AWS上的DC / OS（Mesos）群集上安装了Kafka。启用了三个代理并创建了一个名为“topic1”的主题。

dcos kafka topic create topic1 --partitions 3 --replication 3

然后我编写了一个Producer类来发送消息，并编写了一个Consumer类来接收它们。

public class Producer {
    public static void sendMessage(String msg) throws InterruptedException, ExecutionException {
        Map<String, Object> producerConfig = new HashMap<>();
        System.out.println("setting Producerconfig.");
        producerConfig.put("bootstrap.servers", 
                "172.16.20.207:9946,172.16.20.234:9125,172.16.20.36:9636");

        ByteArraySerializer serializer = new ByteArraySerializer();
        System.out.println("Creating KafkaProcuder");
        KafkaProducer<byte[], byte[]> kafkaProducer = new KafkaProducer<>(producerConfig, serializer, serializer);
        for (int i = 0; i < 100; i++) {
            String msgstr = msg + i;
            byte[] message = msgstr.getBytes();
            ProducerRecord<byte[], byte[]> record = new ProducerRecord<>("topic1", message);
            System.out.println("Sent:" + msgstr);
            kafkaProducer.send(record);
        }
        kafkaProducer.close();
    }

    public static void main(String[] args) throws InterruptedException, ExecutionException {
        sendMessage("Kafka test message 2/27 3:32");
    }

}

public class Consumer {
    public static String getMessage() {
        Map<String, Object> consumerConfig = new HashMap<>();
        consumerConfig.put("bootstrap.servers", 
                "172.16.20.207:9946,172.16.20.234:9125,172.16.20.36:9636");
        consumerConfig.put("group.id", "dj-group");
        consumerConfig.put("enable.auto.commit", "true");
        consumerConfig.put("auto.offset.reset", "earliest");
        ByteArrayDeserializer deserializer = new ByteArrayDeserializer();
        KafkaConsumer<byte[], byte[]> kafkaConsumer = new KafkaConsumer<>(consumerConfig, deserializer, deserializer);

        kafkaConsumer.subscribe(Arrays.asList("topic1"));
        while (true) {
            ConsumerRecords<byte[], byte[]> records = kafkaConsumer.poll(100);
            System.out.println(records.count() + " of records received.");
            for (ConsumerRecord<byte[], byte[]> record : records) {
                System.out.println(Arrays.toString(record.value()));
            }
        }
    }

    public static void main(String[] args) {
        getMessage();
    }
}

首先，我在群集上运行Producer以向topic1发送消息。但是，当我运行Consumer时，它无法接收任何内容，只需挂起即可。

Producer正在运行，因为我能够通过运行Kafka install附带的shell脚本来获取所有消息

./bin/kafka-console-consumer.sh --zookeeper master.mesos:2181/dcos-service-kafka --topic topic1 --from-beginning

但为什么我不能收到Consumer？这个post表明具有旧偏移量的group.id可能是一个可能的原因。我只在消费者中创建group.id而不是生产者。如何为此组配置偏移量？

Answer 1

事实证明，kafkaConsumer.subscribe(Arrays.asList("topic1"));导致poll()挂起。根据{{3}}，有两种方法可以连接到主题assign和subscribe。在我用下面的行替换subscribe后，它开始工作。

    TopicPartition tp = new TopicPartition("topic1", 0);
    List<TopicPartition> tps = Arrays.asList(tp);
    kafkaConsumer.assign(tps);

但是输出显示了不期望的数字数组（Producer发送了字符串）。但我想这是一个单独的问题。

Answer 2

确保您正常关闭了使用者：

consumer.close()

TLDR

当您有两个使用相同的 group id 的使用者运行时，Kafka不会为两个用户分配相同的主题分区。

如果您反复运行的应用以相同的 group id 启动消费者，而您又没有适当地关闭他们，Kafka将需要一段时间来考虑较早运行的消费者：死了，然后将其分区重新分配到新分区。

如果新消息进入该分区，并且从未分配给您的新使用者，则该使用者将永远不会看到消息。

要调试：

您的主题有多少个分区：
./kafka-topics --zookeeper <host-port> --describe <topic>
您的群组从每个分区消耗了多远：
./kafka-consumer-groups --bootstrap-server <host-port> --describe --group <group-id>

如果您的分区已经卡在过时的使用方上，请擦除Kafka的状态或使用新的组ID。

为什么消费者在使用Client API for Java消费DC / OS上的Kafka消息时会挂起？

2 个答案: