火花流动avro解码器为python中的kafka avro消息

Question

我正在使用pyspark api来读取avro消息，这让我有一个异常，说默认解码器（utf8_decoder）无法解析数据。有谁可以帮助解决这个问题。我试图安装融合模式注册表客户端，我不熟悉。我想知道是否有其他方法可以读取avro编码的消息。

这是我正在使用的代码。

sc = SparkContext("local[2]","myConsumer")
ssc = StreamingContext(sc, streamingIntervalSecs)

kafkaParams = {"metadata.broker.list":brokers, 'auto.offset.reset' : 'smallest' , "group.id" : consumerGroupID }

directKafkaStream = KafkaUtils.createDirectStream(ssc, [topic], kafkaParams, fromOffsets())

ssc.start()
ssc.awaitTermination()

如果有任何人有解决方案，请告诉我。

注意：我想知道除此之外是否还有其他解决方案（Spark Python Avro Kafka Deserialiser），如果您觉得这是最佳解决方案，我也在努力安装架构注册表并尝试使用它

谢谢！