我怀疑在集群中使用spark2应用程序时,我怀疑Parquet读取器和/或内存孔的写入器。我想测试最新的Parquet版本。
由于提供了Spark2依赖项,我如何强制spark使用最新的镶木地板版本
spark.read.parquet(sourcePath)
和
df.write
.option("compression", "snappy")
.option("parquet.block.size", PARQUET_BLOCK_SIZE.toString)
.mode(SaveMode.Append)
.partitionBy("part")
.parquet(targetDirectory)
?谢谢