火花写入:CSV数据源不支持空数据类型

时间:2018-09-14 17:49:24

标签: scala apache-spark apache-spark-sql

我的代码有错误。该代码将一些数据转储到Redshift数据库中。

经过一番调查,我找到了一种在Spark控制台中重现它的简单方法。

这很好:

scala> Seq("France", "Germany").toDF.agg(avg(lit(null))).write.csv("1.csv")
scala>

但是,如果我将 av 替换为 max ,则会收到错误消息“ CSV数据源不支持空数据类型。”

scala> Seq("France", "Germany").toDF.agg(max(lit(null))).write.csv("2.csv")
java.lang.UnsupportedOperationException: CSV data source does not support null data type.

最大怎么了?

0 个答案:

没有答案