java.io.InvalidClassException:org.apache.commons.lang3.time.FastDateParser

时间:2018-03-21 22:23:46

标签: java scala date apache-spark spark-dataframe

我正在创建如下日期:

val f = new java.text.SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ssX")
val date = f.format(new java.util.Date)

然而,当我运行程序时,我收到错误:

18/03/21 23:01:26 ERROR Executor: Exception in task 0.0 in stage 56.0 (TID 3673)
java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 3, local class serialVersionUID = 2
  

18/03/21 23:16:28错误ApplicationMaster:用户类引发了异常:   java.lang.IllegalArgumentException:非法模式组件:XXX

当我使用日期val f = new java.text.SimpleDateFormat("yyyy-MM-dd")时,我在这行代码中得到了相同的错误:

   df
    .coalesce(1)
    .write
    .option("header", true)
    .option("delimiter",",")
    .mode(SaveMode.Overwrite)
    .csv(outputPath)

奇怪的是df没有任何日期字段。

只有在删除日期时,代码才能正常运行。

如何解决这个问题。

0 个答案:

没有答案