Question

使用spark-1.6.0-bin-hadoop2.6 根据{{3}}

我可以使用 spark.executor.memory 设置堆大小，这是来自spark-submit的 - executor-memory

运行我的作业时，执行程序内存不会超过分配的内存但我收到错误：

java.lang.OutOfMemoryError：Java堆空间

我正在提交我的工作：

int

我正在使用2个 m4.2xlarge 实例（32.0 GB，8个内核）

Answer 1

问题是没有足够的内存分配给驱动程序。默认情况下，它被分配1024.0 MB

我通过添加

指定了3GB（可能太多）

- driver-memory 3g

实施例

./bin/spark-submit \
    --class edu.gatech.cse8803.main.Main \
    --master spark://ec2-52-23-155-99.compute-1.amazonaws.com:6066   \
    --deploy-mode cluster   \
    --executor-memory 27G   \
    --driver-memory 3g \
    /root/final_project/phenotyping_w_anchors_161-assembly-1.0.jar   \
    1000

Spark：线程中的异常“dag-scheduler-event-loop”java.lang.OutOfMemoryError：Java堆空间

1 个答案: