Spark Dataframe的分区数

Question

任何人都可以解释将为Spark Dataframe创建的分区数量。

我知道对于RDD，在创建RDD时，我们可以提到下面的分区数量。

val RDD1 = sc.textFile("path" , 6) 

但是对于Spark数据帧，在创建时看起来我们没有选项来指定RDD之类的分区数。

我认为只有在创建数据帧后我们可以使用重新分区API。

df.repartition(4)

如果我们可以在创建数据帧时指定分区数量，那么任何人都可以告诉我。

Answer 1

你不能，或者至少不是一般情况，但与RDD相比没有那么不同。例如，您提供的textFile示例代码仅对minimum number of partitions设置了限制。

一般来说：

使用本地集合上的Datasets或range等方法在本地生成的
• toDF将使用spark.default.parallelism。
从Datasets创建的
• RDD从其父级继承了多个分区。

• Datsets使用数据源API创建：

  • 在Spark 1.x中，通常取决于Hadoop配置（最小/最大分割大小）。
  • 在Spark 2.x there is a Spark SQL specific configuration in use。
• 某些数据源可能提供其他选项，可以更好地控制分区。例如，JDBC源允许您设置分区列，值范围和所需的分区数。

Answer 2

spark 数据帧中的默认分区数（200）

rdd(10) 中的默认分区数