在Scala循环中将值递归分配给rdd

时间:2018-12-05 00:29:41

标签: scala apache-spark

如标题中所述,如何将值分配给rdd变量?

我的代码是这样的:

<img>

当我使用上面的代码时,经过几次迭代后,内存内存已满,即使我调用了Var rdd1 = something For(i <- 0 to n){ rdd1= calculation(rdd1,other params) rdd1.first } 函数,某些rdds也已写入磁盘。

0 个答案:

没有答案