max.poll.records属性的来源是什么？

Question

我正在将Kafka与Spark流媒体一起使用。我没有覆盖默认值为max.poll.records的{​​{1}}。但是，当运行我的Spark作业时，我在日志中找到：

500

我的所有作业都具有相同的值，即使它们具有不同的批处理间隔。

那么这个值的来源是什么？

• Kafka服务器版本：0.10.0

• Kafka spark集成的应用程序版本：“ org.apache.spark” %%“ spark-streaming-kafka-0-10”％2.1.1

• Spark应用程序版本：2.2.0

• Spark服务器版本：2.1.1

我有10个分区的主题。

谢谢。

Answer 1

max.poll.records的默认值在Kafka 0.10.0中为2147483647，在Kafka 0.10.1中已更改为500。

  

Notable changes in 0.10.1.0

     

（...），max.poll.records的默认值已更改为500。