Spark容器失败。我相信我得到的结果吗？

Question

我有一个很长的Spark工作，只包含一个map操作。 我尝试使用不同数量的分区，执行程序以及我可以提供的最大内存量（16G + 2G的开销）启动它几次。 在我上次尝试期间，由于内存开销而导致少数执行程序被杀死，然而，输出已经产生并且看起来没问题（显然，我无法检查数据帧的所有行）。 而且，我在输出目录中找到了一个_SUCCESS文件。

我相信我得到的输出吗？

Answer 1

我认为输出是正确的，因为你有_SUCCESS文件，并且如果你们中的某些执行者因内存不足而死亡，那么工作负载将被转移到另一个执行者。