Question

我的配置是

 val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> "xxxxx",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "xxx",
  "fetch.message.max.bytes" -> "20971520",
  "max.partition.fetch.bytes" -> "20971520",
  "auto.offset.reset" -> "latest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)

但是当我运行这个火花流，我收到此错误

[JobGenerator] ERROR org.apache.spark.streaming.kafka010.KafkaRDD [70] - Kafka ConsumerRecord不可序列化。在调用.persist或.window

之前使用.map提取字段

如何解决这个问题？

Answer 1

我认为问题与你的消息类型有关。请确认您的消息键和值是否为字符串？

[SparkStreaming] Kafka ConsumerRecord不可序列化

1 个答案: