我正在运行Spark Streaming。在大约20分钟的时间内运行正常,但是随后出现以下错误消息。
kafka.common.NotLeaderForPartitionException, org.apache.spark.SparkException: Couldn't find leader offsets for Set([lbs_avro,87], [lbs_avro,39], [lbs_avro,21]))
您能帮助我如何克服这个问题吗?我正在使用createDirectStream API使用具有以下参数的消息
"metadata.broker.list" -> kafkaBrokers, "group.id" -> kafkaGroupId, "auto.offset.reset" -> "largest", "enable.auto.commit" -> "true"
谢谢