Question

我正在尝试使用CreatedBy来启动并运行黑盒服务测试的基础结构。我想在Jenkins上执行此操作，以提供多种服务，因此必须绑定到特定于构建的端口（例如50012而不是9092），以使构建能够并行运行。

问题是，生成消息失败。

这是我的docker-compose：

docker-compose.yml

除了这个错误（我认为可以忽略）之外，我没有看到任何错误：

---
version: "3.4"

services:

  zookeeper:
    image: "confluentinc/cp-zookeeper:latest"
    ports:
      - "2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    extra_hosts:
      - "moby:127.0.0.1"

  kafka:
    image: "confluentinc/cp-kafka:latest"
    environment:
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_PROTOCOL_NAME: INSIDE
      KAFKA_ADVERTISED_PROTOCOL_NAME: OUTSIDE
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_LISTENERS: "OUTSIDE://localhost:50012,INSIDE://kafka:9092"
      KAFKA_ADVERTISED_LISTENERS: "OUTSIDE://localhost:50012,INSIDE://kafka:9092"
      KAFKA_BROKER_ID: 1
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
    ports:
      - "50012:9092"
    extra_hosts:
      - "moby:127.0.0.1"
    depends_on:
      - zookeeper

当我尝试通过这样的Kafka控制台生产者发送消息

ERROR Could not submit metrics to Kafka topic __confluent.support.metrics: Failed to construct kafka producer (io.confluent.support.metrics.BaseMetricsReporter)

我收到此异常，但消息未发送：

echo 'my-message' | kafka-console-producer.sh --broker-list localhost:50012 --topic test

org.apache.kafka.common.errors.TimeoutException：60000毫秒后无法更新元数据。

更新：感谢Robin的正确回答，我们得以使用以下docker-compose.yml使其运行：

[2018-07-25 10:56:31,283] ERROR Error when sending message to topic test with key: null, value: 10 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)

Answer 1

您的配置存在问题

      KAFKA_ADVERTISED_LISTENERS: "OUTSIDE://localhost:50012,INSIDE://kafka:9092"
[…]
    ports:
      - "50012:9092"

KAFKA_ADVERTISED_LISTENERS就是那个-代理广告的地址。因此，一方面，您将其配置为localhost:50012，另一方面，您将Docker配置9092作为外部端口公开。

如果您只是使用

 ports:
      - "50012:50012"

然后它应该可以正常工作。

请查看此docker-compose，以获取在外部和内部公开Kafka的有效配置示例。

使用docker-compose和端口映射进行本地Kafka测试

1 个答案: