KAFKA:60000毫秒后无法更新元数据

时间:2018-10-14 00:25:10

标签: java apache-kafka centos7

我是KAFKA的新手,我知道这个问题在堆栈溢出时已经被问过多次了,但是没有一个解决方案对我有用,所以在这里我想再次提出同样的问题来尝试我的运气。 我已经在Centos7 VM上下载并安装了KFKA。 VM在我的笔记本电脑上。当我从命令行运行KAFKA生产者和消费者时,它工作正常。下一步,我想创建一个Java Producer,但是它总是超时,并带有以下异常。

    Exception in thread "main" java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
    at org.apache.kafka.clients.producer.KafkaProducer$FutureFailure.<init>(KafkaProducer.java:1186)
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:880)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:803)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:690)
    at com.soft.teradata.KafkaProducerExample.runProducer(KafkaProducerExample.java:40)
    at com.soft.teradata.KafkaProducerExample.main(KafkaProducerExample.java:55)
Caused by: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

生产者的Java代码是:

package com.soft;
import java.util.Properties;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
public class SimpleProducer {
    public static void main(String[] args) throws Exception {
        try {
            String topicName = "Hello-Kafka";
            Properties props = new Properties();
            props.put("bootstrap.servers", "192.168.xxx.xxx:9092");
            props.put("acks", "all");
            props.put("retries", 1);
            props.put("batch.size", 16384);
            props.put("linger.ms", 1);
            props.put("buffer.memory", 33554432);
            props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            Producer<String, String> producer = new KafkaProducer<String, String>(props);
            Future<RecordMetadata> f=producer.send(new ProducerRecord<String, String>(topicName, "Eclipse"));
            System.out.println("Message sent successfully");
            producer.close();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        } 
            System.out.println("Successful");

    }
} 

对于bootstrap.server,我什至尝试了以下方法:

  

props.put(“ bootstrap.servers”,“ PLAINTEXT://192.168.xxx.xxx:9092”);

请注意,我正在笔记本电脑上从Eclipse执行Java代码,而KAFKA已安装在笔记本电脑上的CENTOS7 VM上。 192.168.xxx.xxx是CENTOS7 VM的IP地址。 我注意到我的笔记本电脑无法访问192.168.xxx.xxx:9092(telnet 192.168.xxx.xxx 9092)。我将端口添加到防火墙,但仍然没有成功。

firewall-cmd --zone=public --add-port=9092/tcp --permanent
        firewall-cmd --reload
        firewall-cmd --list-ports

KAFKA的版本为2.12-2.0.0,并且我在Eclipse Classpath中添加了以下jar:

  • kafka-clients-2.0.0.jar
  • lz4-java-1.4.1.jar
  • slf4j-api-1.7.25.jar
  • snappy-java-1.1.7.1.jar

非常感谢您的帮助:)

Regadrs, DIRSHAH。

3 个答案:

答案 0 :(得分:0)

此错误可能表明该主题不存在,因此您可能需要仔细检查topicName =“ Hello-Kafka”。

尽管这并不是一个很深的答案,但这似乎是一个普遍的问题,另请参见https://github.com/dpkp/kafka-python/issues/607

答案 1 :(得分:0)

我遇到了同样的问题。 您需要宣传Kafka经纪人的主机名/ IP,以便可以从Kafka Producer pc进行访问。

 kafka-server-start.sh config/server.properties --override  advertised.listeners=PLAINTEXT://<accessible-hostname>:9092

答案 2 :(得分:-1)

同一问题,您会发现某些端口可以工作,而有些则不能。

只需将其更改为19092就可以了,使用15672的coz rabbitMQ可以很好地工作,我想原因是OSX占用了某些端口