Spark驱动程序内存配置

时间:2018-01-23 09:47:51

标签: apache-spark amazon-ec2 spark-dataframe

我在Spark应用程序中收到以下错误: -

Container [pid=7115,containerID=container_1516699670283_0001_02_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.

我目前正在使用m3.2x large EC2实例(https://aws.amazon.com/ec2/instance-types/)作为我的驱动程序资源。

我在这里有几个问题:

1)如果我没有指定spark.driver.memory,是否有使用的默认值?

2)在这种情况下,我应该指定哪个驱动程序内存?

1 个答案:

答案 0 :(得分:1)

1)spark.driver.memory的默认值是1g (见https://spark.apache.org/docs/latest/configuration.html

2)你需要指定spark.driver.memory,spark.driver.cores,spark.driver.maxResultSize(在链接https://spark.apache.org/docs/latest/configuration.html之后阅读这些参数)