Question

我已经构建了一个kafka docker容器并使用docker-compose编排它。

调用docker ps我得到以下putput：

CONTAINER ID        IMAGE                          COMMAND                CREATED             STATUS              PORTS                                         NAMES
    5bde6f76246e        hieutrtr/docker-kafka:0.0.1    "/start.sh"            About an hour ago   Up About an hour    7203/tcp, 0.0.0.0:32884->9092/tcp             dockerkafka_kafka_3
    be354f1b8cc0        hieutrtr/docker-ubuntu:devel   "/usr/bin/supervisor   About an hour ago   Up About an hour    22/tcp                                        producer1
    50d3203af90e        hieutrtr/docker-kafka:0.0.1    "/start.sh"            About an hour ago   Up About an hour    7203/tcp, 0.0.0.0:32883->9092/tcp             dockerkafka_kafka_2
    61b285f39615        hieutrtr/docker-kafka:0.0.1    "/start.sh"            2 hours ago         Up 2 hours          7203/tcp, 0.0.0.0:32882->9092/tcp             dockerkafka_kafka_1
    20c9c5ccec05        jplock/zookeeper:3.4.6         "/opt/zookeeper/bin/   2 hours ago         Up 2 hours          2888/tcp, 3888/tcp, 0.0.0.0:32881->2181/tcp   dockerkafka_zookeeper_1

我可以从docker容器中运行生产者和使用者，但它不能在docker网络外部运行。

例如：

我在localhost上运行kafka生成器，出现以下错误：

$ kafka_2.9.1-0.8.2.1: bin/kafka-console-producer.sh --topic test --broker-list $DOCKER_HOST:32884
[2015-08-31 06:55:15,450] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
to
[2015-08-31 06:55:20,214] WARN Failed to send producer request with correlation id 2 to broker 1 with data for partitions [test,0] (kafka.producer.async.DefaultEventHandler)
java.nio.channels.ClosedChannelException
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:73)
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
    at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(SyncProducer.scala:103)
    at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply(SyncProducer.scala:103)
    at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply(SyncProducer.scala:103)

This is my kafka docker example on github包含上述问题。

那么，是否有人遇到过同样的问题并且能以任何方式帮助我？

其他信息：

（只需从ches / kafka派生并修改docker-compose的内容）：

Answer 1

在Kafka服务器属性中，您需要将advertised.host.name和advertised.port设置为正在运行的容器的ip / port，然后它才能正常工作。

Answer 2

您需要将主机的名称放在部署docker实例的位置。您还需要将端口从docker主机（公共）映射到docker容器实例（私有）。

Answer 3

TL; DR 在主机上公开端口9092并将其映射到9092容器端口以访问容器外的kafka代理。有关详细信息，请参阅docker-compose文档。

我认为问题是你没有在容器外面暴露端口9092。根据您的docker ps列表，您的9092容器端口动态映射到主机的端口范围32882-32884。当您连接到以这种方式配置的代理时，您会收到包含用于广告的端口9092的元数据。使用此元数据生成器尝试通过端口9092执行其他请求并失败。

Answer 4

为了记录，让我的本地kafka消费者与Docker容器内的远程代理通信的另一种方法是在我的 / etc / hosts 中添加一个条目： docker-host-ip -address docker-kafka-container-hostname

无论如何，Lundahl的解决方案对我来说很好，看起来更干净。更简洁的是设置 advertised.listeners = host-ip ： port ，因为 advertised.host.name 和 advertised.port 已弃用。

Answer 5

这是我的两分钱，因为我很难弄清楚这一分。

我的$ KAFKA_HOME / config / server.properties包含以下内容：

listener.security.protocol.map=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT

advertised.listeners=INSIDE://${container_ip}:9092,OUTSIDE://${outside_host_ip}:29092

listeners=INSIDE://:9092,OUTSIDE://:29092

inter.broker.listener.name=INSIDE

这将创建两个连接，一个在docker内部使用，另一个在外部使用。您必须为后者选择一个新端口，在我的案例中为29092，确保此端口已公开并由docker映射。

在环境中没有$ {outside_host_ip}的情况下，我还无法找到解决方案，因此我将主机的ip作为环境变量提供。

测试：

输入Kafka容器并创建一个主题：./kafka-topics.sh -zookeeper zookeeper:2181 --create --topic dummytopic --partitions 1 --replication-factor 1
从Kafka容器外部执行./kafka-console-producer.sh --broker-list 0.0.0.0:29092 --topic dummytopic并输入一条消息

我希望这对其他人有帮助

从docker主机外部与kafka docker容器交互

5 个答案: