Question

我正在使用spark2.3，但出现错误。我在互联网上发现了许多此类例外，但未找到任何解决方案，请有人帮忙

Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.MutableInt cannot be cast to org.apache.spark.sql.catalyst.expressions.MutableLong
    at org.apache.spark.sql.catalyst.expressions.SpecificInternalRow.setLong(SpecificInternalRow.scala:283)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetRowConverter$RowUpdater.setLong(ParquetRowConverter.scala:169)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetPrimitiveConverter.addLong(ParquetRowConverter.scala:87)
    at org.apache.parquet.column.impl.ColumnReaderImpl$2$4.writeValue(ColumnReaderImpl.java:274)
    at org.apache.parquet.column.impl.ColumnReaderImpl.writeCurrentValueToConverter(ColumnReaderImpl.java:371)
    at org.apache.parquet.io.RecordReaderImplementation.read(RecordReaderImplementation.java:406)
    at org.apache.parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.java:198)
    ... 23 more

据我了解，实木复合地板文件有多个，有些具有整数数据类型，有些则很长。我不知道为什么？因为由spark创建的实木复合地板文件本身，由另一个spark作业读取。在创建实木复合地板文件时，我没有任何冒烟。

Spark2.3：MutableInt无法强制转换为MutableLong

0 个答案: