使用dataframe.toJSON.write.save将spark数据帧写入可读的JSON

Question

我在下面问了这个问题：

Writing spark dataframe to ascii JSON

但是，提供的建议会遇到群集上的错误。 错误是：“

Caused by: java.io.InvalidClassException:    org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 1, local class serialVersionUID = 2

at java.io.ObjectStreamClass.initNonProxy（ObjectStreamClass.java:687） “

是否有使用dataframe.toJSON.write.save写出可读JSON的解决方法？

Answer 1

您应该拨打saveAsTextFile来代替save。

  

dataframe.toJSON.saveAsTextFile（ “路径”）