当我们对已经重新分区的数据帧进行重新分区时会发生什么?

时间:2018-08-28 09:59:58

标签: sql scala apache-spark dataframe apache-spark-sql

我正在分析开发的代码。我发现了这样的东西。

val newDF = df.repartition(1).withColumn("name", lit("xyz")).orderBy(col("count").asc)

后来在另一个模块上,此newDF如下重用了

newDF.repartition(1).write.format("csv").save(path/of/file)

现在我的疑问是,由于相同的数据帧在2个位置进行了重新分区-第一个数据帧也已使用orderby进行了分区-在第二次分区后,orderBy无效吗? / p>

0 个答案:

没有答案