在到达主题X的结束偏移<offset_value>之前退出消息

Question

java.lang.AssertionError：断言失败：在到达主题分区开始24382671的结束偏移量之前消失消息。这不应该发生，并指示消息可能已丢失。

我在使用spark streaming从主题中消耗束数据时遇到了上述问题。在spark端有上限，是否可以配置。

Answer 1

1. 这意味着Kafka可能出现问题，请先检查您的Kafka日志。
2. 在您的kafkaParams中容纳fetch.message.max.bytes以符合您的数据比例。