标签： apache-spark memory yarn oozie
我在用oozie安排的纱线簇上进行一些火花计算。我注意到一个奇怪的行为：有时我的工作从一开始就重新开始。在Spark作业列表中，将清除所有内容并重新完成所有作业。即使在执行者视图中，执行者也会被清除。然后，再次启动时，它将失败并显示内存错误。看来，如果我给程序分配更多的驱动程序内存，则计算完成。
所以我的结论是：没有足够的驱动程序内存，计算将无法完成，重新启动然后正常地失败。是否有这样的配置条目允许这种行为？