标签: apache-spark load-balancing partitioning data-partitioning
根据我的经验,有时当我将transformation()应用于大数据时,似乎任务没有均匀分区并且偏向一侧,因此只有少数任务正在运行。结果证实,工作效率很差。
transformation()
当任务未均匀分区时:
我想更详细地了解任务何时偏向彼此的原因。
任何想法?