尝试在Spark中读取Parquet时出错

Question

我正在使用Python Spark 2.4.3

我读取了CSV并从中制作了一个数据帧，然后将其写入Parquet就很好了。第三行是中断。

df = spark.read.csv("file.csv", header=True)
df.write.parquet("result_parquet")
parquetFile = spark.read.parquet("result_parquet")

我得到这个：

Py4JJavaError: An error occurred while calling o1312.parquet.
: java.lang.IllegalArgumentException: Unsupported class file major version 55

我在做什么错？我直接从Spark文档https://spark.apache.org/docs/latest/sql-data-sources-parquet.html#loading-data-programmatically

Answer 1

问题是我正在使用Java 11（Spark不完全支持）。我卸载并安装了Java 8，现在可以正常使用