标签: scala apache-spark dataframe parquet
我想使用数据框处理镶木地板文件的数据。为此,我想应用mappartitions方法,以便每个所需的代码都将在提到的分区下执行
val spark = SparkSession.builder.appName(appName).getOrCreate() var dataframe =spark.read.format("parquet").option("inferSchema","true").load("var/data/Parquet/*")