Question

我希望在制作邮件时得到经纪人的一些回复。我已经尝试了KafkaProducer.send中使用的CallBack机制（通过实现CallBack），但它没有工作，也没有调用onCompletion方法。

当我关闭Kafka服务器并尝试生成消息时，它会调用回调方法。

还有其他方法可以获得确认吗？

@Override
    public void onCompletion(RecordMetadata metadata, Exception exception) {
        long elapsedTime = System.currentTimeMillis() - startTime;
        System.out.println("Called Callback method");
        if (metadata != null) {
            System.out.println("message(" + key + ", " + message
                    + ") sent to partition(" + metadata.partition() + "), "
                    + "offset(" + metadata.offset() + ") in " + elapsedTime
                    + " ms");
        } else {
            exception.printStackTrace();
        }

    }

props.put("bootstrap.servers", "localhost:9092");
props.put("client.id", "mytopic");
props.put("key.serializer", org.apache.kafka.common.serialization.StringSerializer.class);
props.put("value.serializer", org.apache.kafka.common.serialization.ByteArraySerializer.class);

KafkaProducer<String, byte[]> producer = new KafkaProducer<String,byte[]>(props);
long runtime = new Date().getTime(); 
String ip = "192.168.2."+ rnd.nextInt(255); 
String msg = runtime + ".www.ppop.com," + ip;
producer.send(new ProducerRecord<String, byte[]>("mytopic", msg.getBytes()), `new TransCallBack(Calendar.getInstance().getTimeInMillis(), key, msg));`

我正在使用kafka-client api 0.9.1和代理版本0.8.2。

Answer 1

因此，我不能100％确定哪些版本适用于Kafka。目前我使用的是0.8.2，我知道0.9引入了一些重大变化，但我无法告诉你确定现在有什么/不起作用。

一个非常强烈的建议，我会使用与您的经纪人版本对应的Kafka-Client版本。如果你使用经纪人0.8.2，我也会使用kakfa-client 0.8.2。

你从来没有提供任何关于你如何使用它的代码，所以我只是在黑暗中猜测。但是我已经在制作人中使用this method在Kafka 0.8.2中实现了回调功能。以下是方法签名。

public java.util.concurrent.Future<RecordMetadata> send(ProducerRecord<K,V> record, Callback callback)

我将在哪里调用该方法，实际上我使用overriden方法传入该类。

KafkaProducer<String, String> prod = new KafkaProducer<String, String>(props);
ProducerRecord<String, String> record = //data to send to kafka
prod.send(record, new Callback() {
  @Override
  public void onCompletion(RecordMetadata metadata, Exception e) {
    if (e != null) {
      e.printStackTrace();
    } else {
      //implement logic here, or call another method to process metadata
      System.out.println("Callback");
    }
  }
});

我假设有一种方法可以在你做完之前做到这一点。但是您必须提供显示您实际向Kafka发送记录的代码。除此之外，我只是在猜测。

Answer 2

有一种简单的方法可以在KafkaProducer使用kafka 0.9版本发布消息后从代理获取信息。您可以调用get（）方法，该方法将返回一个RecordMetadata对象，您可以在代码片段下方获取诸如offset，topicPartition之类的信息作为示例：

RecordMetadata m = kafkaProducer.send(new ProducerRecord<byte[], byte[]>(
                        topic, key.getBytes("UTF-8"), message
                                .getBytes("UTF-8"))).get();
System.out.println("Message produced, offset: " + m.offset());
System.out.println("Message produced, partition : " + m.partition());
System.out.println("Message produced, topic: " + m.topic());

Answer 3

关闭制作人 - 一旦完成发布所有消息 - 就像这样：

producer.close();

这可确保始终调用Callback中的以下方法：

onCompletion(RecordMetadata metadata, Exception exception)

注意：我已经通过将该行添加到this sample Producer class来测试了这一点，但它确实有效。

如果消息是由制作人制作的，如何从Kafka经纪人那里得到确认？

3 个答案: