如何在Spark中使用mapPartitions读取镶木地板文件?

时间:2019-06-13 16:35:42

标签: scala apache-spark dataframe parquet

我想使用数据框处理镶木地板文件的数据。为此,我想应用mappartitions方法,以便每个所需的代码都将在提到的分区下执行

val spark = SparkSession.builder.appName(appName).getOrCreate()
var dataframe =spark.read.format("parquet").option("inferSchema","true").load("var/data/Parquet/*")

0 个答案:

没有答案