带水印的Avro和Spark结构化流不兼容

时间:2018-08-02 10:21:50

标签: apache-spark spark-streaming avro spark-structured-streaming

我正在使用Spark结构化流媒体来加入2个包含Avro数据的kafka主题。对于我的用例,我需要在其中一个主题上加水印。

现在的问题是,结构化流传输要求带水印的字段的类型为“时间戳”,而Avro不会support此数据类型。

这表示使用json代替Avro,以避免这种不兼容性。

对此问题有任何建议或解决方法吗?

0 个答案:

没有答案