Spark：读取实木复合地板文件时出现问题

Question

读取任何实木复合地板文件时出现以下异常：

org.apache.spark.sql.AnalysisException: Illegal Parquet type: FIXED_LEN_BYTE_ARRAY;
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.illegalType$1(ParquetSchemaConverter.scala:126)
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.convertPrimitiveField(ParquetSchemaConverter.scala:193)

在apache spark的回购中找到了关于此的请求请求： https://github.com/apache/spark/pull/20826

该如何解决？

Answer 1

我同意这很烦人。我们只是将其序列化为String，但我同意这是一个穷人的解决方案。