火花堆大小错误，即使RAM是32 GB和JAVA_OPTIONS = -Xmx8g

Question

我有32 GB的物理内存，输入文件大小约为30 MB，我尝试使用以下命令在yarn客户端模式下提交我的spark作业

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py 

我的执行器空间是8g，但得到以下错误，请帮助我配置java堆内存。我使用命令行阅读了--driver-java-options，但我不知道如何使用此选项设置java堆空间。

任何人都可以帮帮我。

  

java.lang.OutOfMemoryError：Java堆空间

enter image description here

Answer 1

您是否尝试过配置执行程序内存？ 像这样：“ - executor-memory 8g”