本地模式下的spark-submit - 配置

Question

我在我的笔记本电脑上使用spark-submit进行--master local（spark 1.6.1）将数据加载到hive表中。笔记本电脑有8 GB RAM和4核。我没有手动设置任何属性 - 只使用默认值。

当我加载50k记录时，作业成功完成。但是当我尝试加载200k记录时，我收到“GC Overhead Limit Exceeded”错误。

在--master本地模式下，是否有可以手动设置的作业内存或堆内存属性？

Answer 1

尝试增加--driver-memory， - executor-memory，默认值为1g。

命令应该是这样的：

spark-submit --master local --driver-memory 2g --executor-memory  2g  --class classpath jarfile