范围分区程序如何跨执行程序处理父分区?

时间:2018-01-07 02:01:28

标签: apache-spark shuffle partitioner

在Apache Spark中,分区器用于定义如何对数据进行洗牌。它们都有getPartition(key: Any): Int方法来执行此操作。

特别是在RangePartitioner中,开发人员需要传输有关RDD的信息才能启动它。所以我对分区器实际执行工作的位置感到困惑:执行器,驱动程序还是主机?

0 个答案:

没有答案