我的代码有错误。该代码将一些数据转储到Redshift数据库中。
经过一番调查,我找到了一种在Spark控制台中重现它的简单方法。
这很好:
scala> Seq("France", "Germany").toDF.agg(avg(lit(null))).write.csv("1.csv")
scala>
但是,如果我将 av 替换为 max ,则会收到错误消息“ CSV数据源不支持空数据类型。”
scala> Seq("France", "Germany").toDF.agg(max(lit(null))).write.csv("2.csv")
java.lang.UnsupportedOperationException: CSV data source does not support null data type.
最大怎么了?