当我使用
在Spark中运行Python代码时spark-submit --master local --packages com.databricks:spark-xml_2.10:0.4.1 \
--driver-memory 8G --executor-memory 7G
我收到此错误
17/02/28 18:59:25 ERROR util.Utils：/usr/local/bin/python2.7的线程stdout编写器中未捕获的异常java.lang.OutOfMemoryError：Java堆空间
使用
时出现同样的错误spark.yarn.executor.memoryOverhead=1024M
我有32 GB的RAM，Java选项是4 GB。
我该如何解决这个问题？