Apache Spark执行器已死-这是预期的行为吗？

Question

我正在运行管道以在Spark上处理我的数据。似乎我的执行者不时地死于达到存储内存限制附近。工作继续进行并最终完成，但这是正常的行为吗？我应该做些什么来防止这种情况发生吗？每当这种情况发生时，作业就会挂起一段时间，直到（我在这里是猜测）YARN为该作业提供了一些新的执行者。

Answer 1

在我的情况下，事实是我缓存了太多数据，然后当执行程序用尽内存时，它们就死了。 YARN启动了替换执行程序，并且该工作得以继续，因为有足够的内存来计算分区。这样可以完成工作，但要完成很多工作。