Question

我在EC2上运行了一个Kafka群集。节点具有内部IP和公共IP。我已将kafka配置文件server.properties配置为：

host.name=MY_PUBLIC_KAFKA_NODE_IP

我正在寻找一种配置，其中开发机器可以使用直接与kafka节点的内部/公共IP无关的kafka事件。只有zookeeper节点的公共IP暴露给开发人员。使用此配置，当开发机器运行时：

./bin/kafka-console-consumer.sh --zookeeper MY_PUBLIC_ZOOKEEPER_IP:2181 --topic test --from-beginning

我收到以下错误：

[2016-01-18 19:00:57,388] WARN Fetching topic metadata with correlation id 61 for topics [Set(test)] from broker [id:1,host:ip-172-31-1-91.us-west-2.compute.internal,port:9092] failed (kafka.client.ClientUtils$)
java.nio.channels.ClosedChannelException
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:73)
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
    at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:93)
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66)
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60)

错误表明代理列表包含kafka节点的内部IP。有没有办法修复此配置？

Answer 1

您需要将advertised.host.name属性设置为客户端可解析的地址/ IP，在您的情况下是AWS节点的公共地址/ IP。

您还必须通过在此处添加客户端的IP地址来允许AWS安全组中的入站访问为此，请转到：Security groups＆gt;选择相应的组＆gt;转到下方窗格中的Inbound tab＆gt;点击Edit＆gt; Add Rule＆gt; Custom TCP rule＆gt; TCP＆gt; 9092＆gt;选择My IP（如果从将用于访问Kafka的客户端访问AWS控制台，则手动添加IP）。

EC2上的Kafka / Zookeeper实例：如何使用公共IP消费事件

1 个答案: