最新Parquet版本的Spark

时间:2018-07-12 12:10:22

标签: apache-spark dependencies parquet

我怀疑在集群中使用spark2应用程序时,我怀疑Parquet读取器和/或内存孔的写入器。我想测试最新的Parquet版本。

由于提供了Spark2依赖项,我如何强制spark使用最新的镶木地板版本

spark.read.parquet(sourcePath)

df.write
    .option("compression", "snappy")
    .option("parquet.block.size", PARQUET_BLOCK_SIZE.toString)
    .mode(SaveMode.Append)
    .partitionBy("part")
    .parquet(targetDirectory)

?谢谢

0 个答案:

没有答案