Question

我试图运行官方＆＃34; Kafka010Example.scala＆＃34;，但是不通常它不会从输入主题读取并按预期写入输出。我错过了什么或做错了什么？任何帮助或提示非常感谢。这就是我所做的：

在docker容器中启动kafka（spotify / kafka：latest）

$ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest
在容器内启动bash会话：

$ docker exec -it 26d1cfced4cb /bin/bash
创建输入和输出主题：

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-input

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-output
推出＆＃34; Kafka010Example.scala＆＃34;在本地模式下运行flink 1.3.2（MiniCluster），flink-connector-kafka-0.10_2.11

使用以下参数： --input-topic test-input --output-topic test-output --bootstrap.servers localhost:9092 --zookeeper.connect localhost:2181 --group.id myconsumer
日志： https://file.io/jWsqI8
向主题发送了一些消息：

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-input

blah

blahh

blahhh

检查输出主题的偏移量 - NOTHING

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group myconsumer --topic test-output

Group           Topic                          Pid Offset          logSize         
Lag             Owner
myconsumer      test-output                    0   0               0               
0               none

检查消费者群体偏移 - 没有

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group myconsumer

No topic available for consumer group provided
GROUP                          TOPIC                          PARTITION  
CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER

Answer 1

我建议使用console-consumer来观看测试输出主题。我不希望测试输出主题的偏移量提前，因为没有人读过它。

Answer 2

第7步应该是：

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --group myconsumer --topic test-output

Flink Streaming示例：Kafka010Example.scala无法正常工作

2 个答案: