标签: scala apache-spark
如标题中所述,如何将值分配给rdd变量?
我的代码是这样的:
<img>
当我使用上面的代码时,经过几次迭代后,内存内存已满,即使我调用了Var rdd1 = something For(i <- 0 to n){ rdd1= calculation(rdd1,other params) rdd1.first } 函数,某些rdds也已写入磁盘。
Var rdd1 = something For(i <- 0 to n){ rdd1= calculation(rdd1,other params) rdd1.first }