Zeppelin UI OOM

Question

我在zeppelin中执行了一项繁重的任务，这样当我多次运行该段时，Zeppelin / jobs状态页面将返回带有OOM的HTTP 500错误。

可能的原因是什么？

我正在运行带有火花的客户端模式。

Answer 1

在Zeppelin的火花翻译中OOM可能有很多原因。一个可能的原因是

• Spark解释器中的Scala REPl会在内存中保留所有评估值（变量，匿名函数等）（SI-4331）

scala> case class A()
defined class A

scala> new A() 
res0: A = A()
scala> new A() 
res1: A = A()

scala> List(1, 2, 3, 4).map(x => x+1) // anonymous function

您可以通过在spark.driver.memory

中为spark设置$SPARK_HOME/conf/spark-defaults.conf来增加驱动程序内存

• 如果是本地spark，您可以在解释器选项页面中设置相同的选项（localhost:8080/#/interpreter，spark interpreter configuration）
• 如果您在Zeppelin中使用crontab，则可以使用auto-restart interpreter on cron execution。