为什么每项任务都有不同的运行时间成本?

时间:2015-12-30 05:02:31

标签: apache-spark

enter image description here

为什么slave4需要花费太多时间,但slave5和slave8的成本却很低?虽然slave4的硬件比其他两个节点的旧,但成本时间的差异是如此之大,为什么呢?

1 个答案:

答案 0 :(得分:0)

如果没有你的工作代码我不能100%肯定,但我会假设你已经做了一些分组而不是先做减少。

似乎除slave4之外的每个节点都将所有数据发送到slave4,并且他完成了所有计算。

在开始时这是非常常见的错误。