我遇到了以下问题
有关可能的kafkaParams,请参阅Kafka使用者配置文档。如果你的 Spark批处理持续时间大于默认的Kafka心跳 会话超时(30秒),增加heartbeat.interval.ms和 session.timeout.ms适当。对于大于5分钟的批次, 这将需要更改代理上的group.max.session.timeout.ms
在此链接上 https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html
如果我在spark conf上设置了以下属性,这是否适用
conf.set("spark.streaming.kafka.consumer.poll.ms", "5000")
还将heartbeat.interval.ms和session.timeout.ms设置为大于kafka流批处理持续时间的背后是什么?不会因消费者的民意调查要求而回购卡夫卡吗?
我也在本地机器上运行spark stream应用程序和kafka。我的批处理大小为1分钟,我的kafka配置如下所示
heartbeat.interval.ms = 3000
session.timeout.ms = 30000
但是,以1分钟及以上的心跳间隔和会话超时值运行批处理时,我并没有真正看到任何问题。我在这里想念东西吗?