如何在Spark结构化流媒体中从Kafka接收XML字符串作为JSON?

时间:2018-10-29 17:48:49

标签: apache-spark spark-structured-streaming

我有XML格式的数据。我想将这些xml数据发送到Kafka,并在Spark结构化流中将XML数据用作JSON数据。但是我不知道该怎么办。我应该以哪种格式向Kafka发送数据或从Kafka接收数据?有没有有效的方法?

编辑:我可以在spark-scala中将xml字符串转换为json字符串,为此操作,我将编写UDF函数。但是这个udf函数是否可以在整个集群中并行工作?

0 个答案:

没有答案