标签: apache-spark spark-streaming avro spark-structured-streaming
我正在使用Spark结构化流媒体来加入2个包含Avro数据的kafka主题。对于我的用例,我需要在其中一个主题上加水印。
现在的问题是,结构化流传输要求带水印的字段的类型为“时间戳”,而Avro不会support此数据类型。
这表示使用json代替Avro,以避免这种不兼容性。
对此问题有任何建议或解决方法吗?