在Spark Streaming中获取错误消息``org.apache.spark.SparkException:找不到Set的引线偏移量''

时间:2019-03-18 06:05:54

标签: apache-kafka spark-streaming

我正在运行Spark Streaming。在大约20分钟的时间内运行正常,但是随后出现以下错误消息。

kafka.common.NotLeaderForPartitionException, org.apache.spark.SparkException: Couldn't find leader offsets for Set([lbs_avro,87], [lbs_avro,39], [lbs_avro,21]))

您能帮助我如何克服这个问题吗?我正在使用createDirectStream API使用具有以下参数的消息

"metadata.broker.list" -> kafkaBrokers, "group.id" -> kafkaGroupId, "auto.offset.reset" -> "largest", "enable.auto.commit" -> "true"

谢谢

0 个答案:

没有答案