标签: apache-spark sparkr
我使用Spark 2.0.1运行SparkR,内核为8个核心,内存为59 GB。在制作spark上下文时,我已经给出了25 GB作为驱动程序以及执行程序内存。
我的目标要求dapply在Spark DataFrame上运行特定的功能,同时这样做我收到以下错误:
Can not allocate vector of size 2.3 GB
我们如何解决? 提前谢谢。