从单个分区读取时,Kafka不会创建使用者组

时间:2019-03-06 12:20:11

标签: apache-spark apache-kafka spark-structured-streaming

我正在使用星火结构流从kafka中读取内容,以下是我的读取流

 val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
 //.option("subscribe", topic)
 .option("assign"," {\""+topic+"\":[0]}") 
  .option("startingOffsets", "earliest")
  .option("maxOffsetsPerTrigger", 60000)
  .load()

我想使用下面的kafka命令查看我在kafka中的消费者组。我注意到的是,当我仅从单个分区读取时,它不会创建任何用户组,但是当我从主题读取时(在我的情况下,我有3个该主题的分区),而没有明确提及分区,它将创建使用者组。这是预期的行为吗?如果是,那么为什么?

./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list

0 个答案:

没有答案