如何在使用Spark结构化流时更新Kafka使用者max.request.size配置

Question

Kafka的Spark readStream失败并出现以下错误：

  

org.apache.kafka.common.errors.RecordTooLargeException（该消息   序列化时为1166569字节，大于最大值   您使用max.request.size配置的请求大小   配置。）

我们如何提升max.request.size？

代码：

val ctxdb = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "ip:port")
  .option("subscribe","topic")
  .option("startingOffsets", "earliest")
  .option(" failOnDataLoss", "false")
  .option("max.request.size", "15728640")

我们试图在没有运气的情况下更新option("max.partition.fetch.bytes", "15728640")。

Answer 1

您需要将kafka前缀添加到编写器流设置：

.option("kafka.max.request.size", "15728640")