使用Kafka进行Spark流式传输的心跳,轮询间隔和会话超时

时间:2019-01-24 05:08:58

标签: apache-spark apache-kafka spark-streaming

在Kafka中使用Spark流-直接方法-Doc

火花版本-2.3.2

Spark Streaming版本-spark-streaming-kafka-0-10_2.11

问题:需要以10分钟的批处理间隔运行Steaming应用程序,但是默认超时时间不到10分钟,因此如何配置以下参数:

  1. heartbeat.interval.ms
  2. session.timeout.ms
  3. group.max.session.timeout.ms
  4. group.min.session.timeout.ms
  5. max.poll.interval.ms

鉴于批处理间隔为10分钟。

还将这些值设置为某些值是否会影响所有的消费者组(现有的以及将来可能添加的组)?

如果是,如何仅为特定的消费者组配置这些参数?

0 个答案:

没有答案