Spark SQL中的“排序依据”与数据集API的“排序”与Spark SQL中的“排序依据”之间有什么区别？

Question

1. 通过Spark SQL排序会导致Narrow依赖关系。
2. Dataset API的排序和Spark SQL的排序导致Wide 依赖性。

Answer 1

这里有两件事：

• 通常，Spark使用sort作为orderBy-What is the difference between sort and orderBy functions in Spark

的别名

• 配置单元具有SORT BY子句which sorts data locally per partition-在Spark中这种操作称为sortWithinPartitions。