Spark SQL不支持的数据类型TimestampType

Question

我刚接触spark和scala.Trying读取文本文件并保存它的镶木地板文件。对我来说，我使用的字段之一是TimeStamp，其文档说spark1.1.0支持java.util.TimeStamp。

保存到镶木地板文件时我得到的运行时错误是

线程“main”中的异常java.lang.RuntimeException：org.apache.spark.sql.parquet.ParquetTypesConverter上的scala.sys.package $ .error（package.scala：27）中不支持的数据类型TimestampType $$ anonfun $ fromDataType $ 2.适用（ParquetTypes.scala：301）

任何建议都非常明显。

由于

Answer 1

这实际上是1.3.0之前版本的已知错误：https://issues.apache.org/jira/browse/SPARK-4987

拉取请求已合并：https://github.com/apache/spark/pull/3820但在1.3.0发布之前它无法使用。

如果您急于求成，您可以在本地构建1.3.0的主分支，否则您可能需要等待，但有希望因为Spark 1.3.0的RC2开始是昨天被评为最终版本，所以如果候选版本的所有内容都可以，那么事情就会发展得非常快。

此致