如何在不使其本地化的情况下获得总和值

Question

在SparkR中，我有一个包含

的DataFrame explorer.exe

u

要计算sparkR中的总和，我使用

'amount' = 231,2,324,1213 ... 

现在summa <- agg(u, amount="sum") 是一个DataFrame。我想知道summa的价值，我可以通过输入summa或head(summa)来获得该值，但这需要大约2分钟才能完成。如何更快地获得价值？或者我如何将collect(summa)用作整数。

Answer 1

我认为head(summa)缓慢的原因不是因为head功能，而是因为懒惰评估正在发挥作用。也就是说，我们无法计算summa（因此使用agg），直到我们调用head函数。当您致电head时，您也会收到拨打agg的费用。