Spark-结构化流式Kafka（动态反序列化）

Question

假设我们在流中订阅了2个主题，一个主题是avro，另一个主题是字符串，是否可以根据主题名称动态反序列化？

Answer 1

理论上是

Deserializer界面接受主题名称作为参数，您可以对其进行检查。

但是，要在Spark中访问此文件，将需要您自己的UDF包装器。

---

最终，我认为如果为不同格式的每个主题定义两个流数据帧，或者简单地将字符串生成为Avro编码，那会更好。