标签: apache-spark
为什么slave4需要花费太多时间,但slave5和slave8的成本却很低?虽然slave4的硬件比其他两个节点的旧,但成本时间的差异是如此之大,为什么呢?
答案 0 :(得分:0)
如果没有你的工作代码我不能100%肯定,但我会假设你已经做了一些分组而不是先做减少。
似乎除slave4之外的每个节点都将所有数据发送到slave4,并且他完成了所有计算。
在开始时这是非常常见的错误。