SparkR - dapply:无法分配大小为x GB的向量

时间:2016-11-15 10:53:59

标签: apache-spark sparkr

我使用Spark 2.0.1运行SparkR,内核为8个核心,内存为59 GB。在制作spark上下文时,我已经给出了25 GB作为驱动程序以及执行程序内存。

我的目标要求dapply在Spark DataFrame上运行特定的功能,同时这样做我收到以下错误:

Can not allocate vector of size 2.3 GB

我们如何解决? 提前谢谢。

0 个答案:

没有答案