Question

我想删除数据帧中常量的列，这就是我所做的，但我发现它需要花费一些时间才能完成，特别是在将数据帧写入csv文件时，请任何帮助来优化代码花费更少的时间

val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df = spark.read.option("inferSchema", "true").option("header", "false").csv("D:\\ProcessDataSet\\anis_data\\Set _1Mud Pumps_Merged.csv")
val aggregations = df.drop("DateTime").columns.map(c => stddev("c").as(c)) 
val df2 = df.agg(aggregations.head, aggregations.tail: _*)
val columnsToKeep: Seq[String] = (df2.first match {
  case r : Row => r.toSeq.toArray.map(_.asInstanceOf[Double])
}).zip(df.columns)
  .filter(_._1 != 0) // your special condition is in the filter
  .map(_._2) // keep just the name of the column
// select columns with stddev != 0
val finalResult = df.select(columnsToKeep.head, columnsToKeep.tail : _*)
finalResult.write.option("header",true).csv("D:\\ProcessDataSet\\dataWithoutConstant\\Set _1Mud Pumps_MergedCleaned.csv")

}

Answer 1

我认为没有太多空间可供优化。你正在做正确的事。

也许您可以尝试的是cache()您的数据框df。

df用于两个单独的Spark操作，因此会加载两次。

尝试：

...
val df = spark.read.option("inferSchema", "true").option("header", "false").csv("D:\\ProcessDataSet\\anis_data\\Set _1Mud Pumps_Merged.csv")
df.cache()
val aggregations = df.drop("DateTime").columns.map(c => stddev("c").as(c))
...

删除csv文件中的常量列

1 个答案: