镶木地板的火花错误

Question

我们正在使用Apache Spark，我们将json文件另存为hdfs中gzip压缩的实木复合地板文件。但是，当将它们读回以生成数据帧时，某些文件（但不是全部）会引起以下异常：

ERROR Executor: Exception in task 2.0 in stage 72.0 (TID 88)
org.apache.parquet.io.ParquetDecodingException: Can not read value at 351 in 
block 0 in file file:/path/to/file [...]
Caused by: java.lang.ClassCastException: 
org.apache.spark.sql.catalyst.expressions.MutableLong cannot be cast to 
org.apache.spark.sql.catalyst.expressions.MutableDouble

非常感谢您的帮助！

Answer 1

当您尝试同时读取具有不同架构的镶木地板文件时，将发生此类错误。尝试让/转换所有源文件具有相同的架构，或者同时转换所有文件。