Spark任务不均匀分布在执行者(谷歌云数据中心)之间

时间:2016-06-10 13:12:58

标签: apache-spark google-cloud-dataproc

我注意到在重新分区之后,任务并不总是在执行程序之间平均分配。这导致巨大的积累。重新分区功能随机为每个项目分配一个分区号。似乎任务分布均匀,所以我不认为重新分配是导致问题的原因。有没有办法解决这个问题?

spark event timeline

0 个答案:

没有答案