Spark:Sort操作是一种广泛的转换,因此需要Shuffle操作,但是令人惊讶的是它不需要

时间:2019-07-29 07:02:47

标签: apache-spark

我试图更好地了解Spark内部。改组是Spark中的主要任务之一。需要改组的典型转换是排序转换。但是出于某种原因,排序并未使用随机播放。我通过查看Spark UI来了解这一点,在其中,随机读取和随机写入处于空闲状态。令人惊讶的是,洗牌甚至用于计数之类的主要操作,但没有用于排序。有什么想法吗?

0 个答案:

没有答案