是什么导致任务不能在Spark中均匀分区?

时间:2017-02-26 07:17:23

标签: apache-spark load-balancing partitioning data-partitioning

根据我的经验,有时当我将transformation()应用于大数据时,似乎任务没有均匀分区并且偏向一侧,因此只有少数任务正在运行。结果证实,工作效率很差。

当任务未均匀分区时: enter image description here

我想更详细地了解任务何时偏向彼此的原因。

任何想法?

0 个答案:

没有答案