我在Spark应用程序中收到以下错误: -
Container [pid=7115,containerID=container_1516699670283_0001_02_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我目前正在使用m3.2x large EC2
实例(https://aws.amazon.com/ec2/instance-types/)作为我的驱动程序资源。
我在这里有几个问题:
1)如果我没有指定spark.driver.memory
,是否有使用的默认值?
2)在这种情况下,我应该指定哪个驱动程序内存?
答案 0 :(得分:1)
1)spark.driver.memory的默认值是1g (见https://spark.apache.org/docs/latest/configuration.html)
2)你需要指定spark.driver.memory,spark.driver.cores,spark.driver.maxResultSize(在链接https://spark.apache.org/docs/latest/configuration.html之后阅读这些参数)