标签： apache-spark partition
我有spark数据帧，其中我做了很多withColumn->分区上的行数，分区上的中位数，分区上的总和，分区上的计数等。某处的分区数符合预期，但所有分区最终都由一个执行程序执行。什么时候发生。一次只能运行1个分区，因为所有分区都在一个节点中，并且每个节点都有1个核心