我正在使用星火结构流从kafka中读取内容,以下是我的读取流
val inputDf = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokers)
//.option("subscribe", topic)
.option("assign"," {\""+topic+"\":[0]}")
.option("startingOffsets", "earliest")
.option("maxOffsetsPerTrigger", 60000)
.load()
我想使用下面的kafka命令查看我在kafka中的消费者组。我注意到的是,当我仅从单个分区读取时,它不会创建任何用户组,但是当我从主题读取时(在我的情况下,我有3个该主题的分区),而没有明确提及分区,它将创建使用者组。这是预期的行为吗?如果是,那么为什么?
./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list