Question

我很难理解Spark中的Round Robin分区。考虑以下示例。我将大小为3的Seq分为3个分区：

val df = Seq(0,1,2).toDF().repartition(3)

df.explain

== Physical Plan ==
Exchange RoundRobinPartitioning(3)
+- LocalTableScan [value#42]

现在，如果我检查分区，我将得到：

df
  .rdd
  .mapPartitionsWithIndex{case (i,rows) => Iterator((i,rows.size))}
  .toDF("partition_index","number_of_records")
  .show

+---------------+-----------------+
|partition_index|number_of_records|
+---------------+-----------------+
|              0|                0|
|              1|                2|
|              2|                1|
+---------------+-----------------+

如果我对大小为8的Seq进行同样的操作并将其分成8个分区，则歪斜会更严重：

(0 to 7).toDF().repartition(8)
  .rdd
  .mapPartitionsWithIndex{case (i,rows) => Iterator((i,rows.size))}
  .toDF("partition_index","number_of_records")
  .show

+---------------+-----------------+
|partition_index|number_of_records|
+---------------+-----------------+
|              0|                0|
|              1|                0|
|              2|                0|
|              3|                0|
|              4|                0|
|              5|                0|
|              6|                4|
|              7|                4|
+---------------+-----------------+

有人可以解释这种行为。据我了解循环分区，所有分区的显示大小都是相同的。

Answer 1

（已检查Spark版本2.1-2.4）

据我从ShuffleExchangeExec code所看到的，Spark尝试直接从原始分区（通过mapPartitions）对行进行分区，而不给驱动程序带来任何负担。

逻辑是从随机选择的目标分区开始，然后以循环方法将分区分配给行。请注意，为每个源分区选择了“开始”分区，并且可能会发生冲突。

最终分布取决于许多因素：源/目标分区的数量以及数据框中的行数。

Answer 2

我无法解释为什么，但是以某种方式可以链接到本地主机。

如果您明确设置了：

--master local => 1行（无并行性）
--master "local[2]" => 2行（4个分区为空）
--master "local[4]" => 4行（6个分区为空）
--master "local[8]" => 8行（7个分区为空）

Spark中的Round Robin分区如何工作？

2 个答案: