无法在apache spark中处理date列的null值。 我尝试将null替换为空字符串以及null值。
我得到的错误是
java.text.ParseException: Unparseable date: ""
我正在使用csv-spark，databricks：spark-redshift_2.11 2.0.1
代码
var originalDataFrame = sqlContext.load(
"com.databricks.spark.csv",
schema = sourceSchema,
Map("path" -> filePath,
"header" -> "false",
"codec"->"org.apache.hadoop.io.compress.GzipCodec",
"delimiter"->"|",
"dateFormat" -> dateFormat,
"nullValue"->""
))
提前致谢。