Question

出于测试目的，我尝试在我的本地迷你管道上创建Kafka群集。群集必须可以从Kubernetes的外部访问。

当我在豆荚内生产/消费时没有问题，一切正常。

当我使用

从本地机器制作时

bin/kafka-console-producer.sh --topic mytopic --broker-list 192.168.99.100:32767

其中192.168.99.100是我的minikube-ip，32767是kafka服务的节点端口。

我收到以下错误消息：

>testmessage
>[2018-04-30 11:55:04,604] ERROR Error when sending message to topic ams_stream with key: null, value: 11 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for ams_stream-0: 1506 ms has passed since batch creation plus linger time

当我从本地机器消耗时，我收到以下警告：

[2018-04-30 10:22:30,680] WARN Connection to node 2 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-04-30 10:23:46,057] WARN Connection to node 8 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-04-30 10:25:01,542] WARN Connection to node 2 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-04-30 10:26:17,008] WARN Connection to node 5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

经纪人ID是对的，所以看起来我至少可以到达经纪人

修改

我认为问题可能是，该服务将“随机”路由到我的任何经纪人，但他需要将我引导到该主题的领导者。这可能是问题吗？有没有人知道解决这个问题的方法？

附加信息：

我正在使用wurstmeister/kafka和digitalwonderland/zookeeper张图片

我开始使用DellEMC Tutorial（以及来自defuze.org的链接的一个）

这对我来说没有用，所以我在kafka-service.yml（1）和kafka-cluster.yml（2）中做了一些更改

卡夫卡-service.yml

添加了固定的NodePort
从选择器中删除了ID

卡夫卡-cluster.yml

在规范中添加了副本
从标签
更改了由IP
将deprecated_host_name / advertised_port替换为已弃用的值
- 侦听器（pod-ip：9092）用于k8s内的通信
- advertised_listeners （minikube-ip：node-port），用于与kubernetes以外的应用程序进行通信

1 - kafka-service.yml：

---
apiVersion: v1
kind: Service
metadata:
  name: kafka-service
  labels:
    name: kafka
spec:
  type: NodePort
  ports:
  - port: 9092
    nodePort: 32767
    targetPort: 9092
    protocol: TCP
  selector:
    app: kafka
  type: LoadBalancer

2 - kafka-cluster.yml：

---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: kafka-b
spec:
  replicas: 3
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
      - name: kafka
        image: wurstmeister/kafka
        ports:
        - containerPort: 9092
        env:
        - name: HOSTNAME_COMMAND
          value: "ifconfig |grep 'addr:172' |cut -d':' -f 2 |cut -d ' ' -f 1"
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: zk1:2181
        - name: BROKER_ID_COMMAND
          value: "ifconfig |grep 'inet addr:172' | cut -d'.' -f '4' | cut -d' ' -f '1'"
        - name: KAFKA_ADVERTISED_LISTENERS
          value: "INTERNAL://192.168.99.100:32767"
        - name: KAFKA_LISTENERS
          value: "INTERNAL://_{HOSTNAME_COMMAND}:9092"
        - name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
          value: "INTERNAL:PLAINTEXT"
        - name: KAFKA_INTER_BROKER_LISTENER_NAME
          value: "INTERNAL"
        - name: KAFKA_CREATE_TOPICS
          value: mytopic:1:3

在本地minikube

附加信息：

0 个答案: