我正在创建两个docker-compose文件(主要是因为我不想在开发应用程序时继续重启我的基础结构。)它们需要驻留在同一docker网络上,以便它们可以使用别名进行连接。
文件看起来类似于以下内容:
APP:
version: '3.5'
networks:
default:
name: kafka_network
driver: bridge
services:
client:
build:
context: .
dockerfile: ./Dockerfile
working_dir: /app/
command: ./client
environment:
BADDR: kafka:9092
CGROUP: test_group
TOPICS: my-topic
基础设施:
version: '3.5'
networks:
default:
name: kafka_network
driver: bridge
services:
zookeeper:
image: confluentinc/cp-zookeeper:latest
ports:
- 2181:2181
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
kafka:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper
ports:
- 9092:9092
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
我的问题是客户端无法正确解析kafka:9092 ...它始终解析为127.0.0.1:9092
。
错误:
Broker: kafka:9092
Consumer_Group: my_group
Topics: [my-topic]
Created Consumer rdkafka#consumer-1
% Error: GroupCoordinator: Connect to ipv4#127.0.0.1:9092 failed: Connection refused (after 0ms in state CONNECT)
在本地运行时,它似乎运行良好,所以对于可能出现的问题,我确实感到困惑。如果有人对此有所了解,我将不胜感激!
本地:
[procyclinsur@P-428 client]$ ./client
Broker: localhost:9092
Consumer_Group: my-group
Topics: [my-topic]
Created Consumer rdkafka#consumer-1
% AssignedPartitions: [my-topic[0]@unset]
% Message on my-topic[0]@0:
hello mate
答案 0 :(得分:1)
那是与您的Kafka的配置有关的问题-根本与docker无关。
继续观看:
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
这意味着您为Kafka设置了2个侦听器,客户端在连接时将通过Kafka的协议接收这些监听器。
因此,当您在端口9092上进行连接时,客户端将尝试在“ localhost”处获取Kafka,而在端口29092上进行连接时,客户端将尝试在“ kafka” DNS名称处获取Kafka。
它为您在本地工作,因为您的Kafka容器通过docker端口部分在localhost:9092上公开。
这是一篇很好地描述该主题的文章:https://rmoff.net/2018/08/02/kafka-listeners-explained/