Apache Kafka的Spark流

时间:2018-07-24 23:53:33

标签: apache-spark apache-kafka spark-streaming spark-streaming-kafka

我遇到了以下问题

  

有关可能的kafkaParams,请参阅Kafka使用者配置文档。如果你的   Spark批处理持续时间大于默认的Kafka心跳   会话超时(30秒),增加heartbeat.interval.ms和   session.timeout.ms适当。对于大于5分钟的批次,   这将需要更改代理上的group.max.session.timeout.ms

在此链接上 https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html

如果我在spark conf上设置了以下属性,这是否适用

conf.set("spark.streaming.kafka.consumer.poll.ms", "5000")

还将heartbeat.interval.ms和session.timeout.ms设置为大于kafka流批处理持续时间的背后是什么?不会因消费者的民意调查要求而回购卡夫卡吗?

我也在本地机器上运行spark stream应用程序和kafka。我的批处理大小为1分钟,我的kafka配置如下所示

heartbeat.interval.ms = 3000
session.timeout.ms = 30000

但是,以1分钟及以上的心跳间隔和会话超时值运行批处理时,我并没有真正看到任何问题。我在这里想念东西吗?

0 个答案:

没有答案