Question

我将Kafka客户制作人写为：

public class BasicProducerExample {
   public static void main(String[] args){
       Properties props = new Properties();
       props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");
       props.put(ProducerConfig.ACKS_CONFIG, "all");
       props.put(ProducerConfig.RETRIES_CONFIG, 0);
       props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       //props.put(ProducerConfig.
       props.put("batch.size","16384");// maximum size of message 

       Producer<String, String> producer = new KafkaProducer<String, String>(props);
       TestCallback callback = new TestCallback();
       Random rnd = new Random();
       for (long i = 0; i < 2 ; i++) {
           //ProducerRecord<String, String> data = new ProducerRecord<String, String>("dke", "key-" + i, "message-"+i );
           //Topci and Message
           ProducerRecord<String, String> data = new ProducerRecord<String, String>("dke", ""+i);
           producer.send(data, callback);
       }

       producer.close();
   }
   private static class TestCallback implements Callback {
       @Override
       public void onCompletion(RecordMetadata recordMetadata, Exception e) {
           if (e != null) {
               System.out.println("Error while producing message to topic :" + recordMetadata);
               e.printStackTrace();
           } else {
               String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
               System.out.println(message);
           }
       }
   }
}

输出：产生对主题：null的消息时出错 org.apache.kafka.common.errors.TimeoutException：60000毫秒后无法更新元数据。

注意：代理端口：localhost：6667正在运行。

Answer 1

在您的BOOTSTRAP_SERVERS_CONFIG属性中，尝试将端口号更改为6667。

谢谢。

- 聘请

Answer 2

我在Hortonworks（HDP 2.X发行版）安装上使用Apache Kafka。遇到错误消息意味着Kafka生产者无法将数据推送到段日志文件。在命令行控制台中，这意味着两件事：

您为代理使用的端口不正确
您在server.properties中的侦听器配置不起作用

如果通过scala api编写时遇到错误消息，请另外使用telnet <cluster-host> <broker-port>检查与kafka群集的连接

注意：：如果您使用scala api创建主题，则代理需要一些时间来了解新创建的主题。因此，创建主题后，制作人可能会立即失败并显示错误Failed to update metadata after 60000 ms.

为了解决此问题，我进行了以下检查：

我通过Ambari检查后的第一个区别是，Kafka经纪人在HDP 2.x上的端口6667上监听（Apache Kafka使用9092）。

listeners=PLAINTEXT://localhost:6667

接下来，使用ip代替localhost。我执行了netstat -na | grep 6667

tcp        0      0 192.30.1.5:6667        0.0.0.0:*               LISTEN     
tcp        1      0 192.30.1.5:52242       192.30.1.5:6667        CLOSE_WAIT 
tcp        0      0 192.30.1.5:54454       192.30.1.5:6667        TIME_WAIT

因此，我将生产者调用修改为用户IP，而不是localhost：

./kafka-console-producer.sh --broker-list 192.30.1.5:6667 --topic rdl_test_2

要监视是否有新记录要写入，请监视/kafka-logs文件夹。

cd /kafka-logs/<topic name>/
ls -lart
-rw-r--r--.  1 kafka hadoop        0 Feb 10 07:24 00000000000000000000.log
-rw-r--r--.  1 kafka hadoop 10485756 Feb 10 07:24 00000000000000000000.timeindex
-rw-r--r--.  1 kafka hadoop 10485760 Feb 10 07:24 00000000000000000000.index

一旦生产者成功写入，段日志文件00000000000000000000.log的大小就会增加。

请参见以下尺寸：

-rw-r--r--. 1 kafka hadoop 10485760 Feb 10 07:24 00000000000000000000.index
-rw-r--r--. 1 kafka hadoop       **45** Feb 10 09:16 00000000000000000000.log
-rw-r--r--. 1 kafka hadoop 10485756 Feb 10 07:24 00000000000000000000.timeindex

此时，您可以运行consumer-console.sh：

./kafka-console-consumer.sh --bootstrap-server 192.30.1.5:6667 --topic rdl_test_2 --from-beginning
response is hello world

在此步骤之后，如果您想通过Scala API生成消息，则更改listeners值（从localhost到公共IP）并通过Ambari重新启动Kafka代理：

listeners=PLAINTEXT://192.30.1.5:6667

样本制作者如下：

package com.scalakafka.sample
import java.util.Properties
import java.util.concurrent.TimeUnit

import org.apache.kafka.clients.producer.{ProducerRecord, KafkaProducer}
import org.apache.kafka.common.serialization.{StringSerializer, StringDeserializer}

class SampleKafkaProducer {
  case class KafkaProducerConfigs(brokerList: String = "192.30.1.5:6667") {
    val properties = new Properties()
    val batchsize :java.lang.Integer = 1

    properties.put("bootstrap.servers", brokerList)
    properties.put("key.serializer", classOf[StringSerializer])
    properties.put("value.serializer", classOf[StringSerializer])
    //    properties.put("serializer.class", classOf[StringDeserializer])
        properties.put("batch.size", batchsize)
    //    properties.put("linger.ms", 1)
    //    properties.put("buffer.memory", 33554432)
  }

  val producer = new KafkaProducer[String, String](KafkaProducerConfigs().properties)

  def produce(topic: String, messages: Iterable[String]): Unit = {
    messages.foreach { m =>
      println(s"Sending $topic and message is $m")
      val result = producer.send(new ProducerRecord(topic, m)).get()
      println(s"the write status is ${result}")
    }
    producer.flush()
    producer.close(10L, TimeUnit.MILLISECONDS)
  }
}

希望这对某人有帮助。

在HDP沙盒2.6.5中从本地主机生产到Kafka无效

2 个答案: