Spark执行程序需要驱动程序内存

时间:2018-07-05 12:29:25

标签: apache-spark memory driver

我有2个spark应用程序。最初读取的csv文件然后将其转换为拼花(简单的读取-过滤-写入)。第二个读取实木复合地板文件,计算统计信息,然后将结果写入csv文件。我必须分配更多的驱动程序内存才能使它们运行,否则会崩溃,导致内存不足错误。

我注意到,当我将执行程序和内核减少到1和1时,我不必提供更多的驱动程序内存。看起来管理多个执行程序(在我的情况下,我有10个具有5个核心的执行程序)需要驱动程序内存。如果我设置10个具有1个核心的执行程序,或1个具有5个核心的执行程序,则例如在镶木地板读取期间会崩溃。

正确的解释是什么?

0 个答案:

没有答案