Spark Streaming作业的内存不足错误

时间:2018-10-10 05:34:58

标签: apache-spark apache-kafka spark-streaming

我在Hortonworks cluster中运行一个流媒体作业。 我正在通过yarn以群集模式运行它,该作业显示为在UI中运行,但是它在驱动程序日志中具有以下异常

Exception in thread "JobGenerator" java.lang.OutOfMemoryError: Java heap space

1 个答案:

答案 0 :(得分:0)

我通过在spark-submit命令中指定驱动程序内存来​​解决此问题,因为内存问题在驱动程序中

相关问题