没有足够的内存供Java Runtime Environment继续进行spark-submit

Question

我正在执行pyspark作业

spark-submit --driver-memory 2g --executor-memory 2g  --conf spark.driver.maxResultSize=2g job.py

我尝试更改多个选项，但每次遇到以下错误时：

OpenJDK 64位服务器VM警告：信息：os :: commit_memory（0x000000072324e000，985616384，0）失败; error ='无法分配内存'（errno = 12）

没有足够的内存来继续Java运行时环境。

本机内存分配（mmap）无法映射985616384字节来提交保留的内存。

具有更多信息的错误报告文件另存为：

我是火花新手，有人可以帮助我解决此问题的方法吗。

Answer 1

尝试减少驱动程序内存-提交作业的节点内存不足。