Spark - UbuntuVM - Java运行时环境的内存不足

时间:2015-10-20 19:45:15

标签: apache-spark ubuntu-14.04 openjdk

我正在尝试在Ubuntu14.04 VM上安装Spark1.5.1。在解压缩文件之后,我将目录更改为解压缩的文件夹并执行命令“./bin/pyspark”,该命令应该启动pyspark shell。但是我收到如下错误消息:

  

[ OpenJDK 64位服务器VM警告:INFO:os :: commit_memory(0x00000000c5550000,715849728,0)失败;   error ='无法分配内存'(错误= 12)没有足够的   Java Runtime Environment的内存继续。

     

本机内存分配(malloc)无法分配715849728字节   用于提交保留的内存。

     

包含更多信息的错误报告文件保存为:   /home/datascience/spark-1.5.1-bin-hadoop2.6/hs_err_pid2750.log ]

有人可以给我一些解决问题的方向吗?

2 个答案:

答案 0 :(得分:1)

我们需要将spark.executor.memory文件中的conf/spark-defaults.conf设置为特定于您计算机的值。例如,

usr1@host:~/spark-1.6.1$ cp conf/spark-defaults.conf.template conf/spark-defaults.conf
nano conf/spark-defaults.conf
spark.driver.memory              512m

有关详细信息,请参阅官方文档:http://spark.apache.org/docs/latest/configuration.html

答案 1 :(得分:0)

几乎就是这么说的。它需要7GB的RAM。所以给VM~8GB的RAM。