如果节点之一已满，Spark广播变量将发生什么

Question

我刚刚开始从事Spark工作，并且是新手。

问：假设我们广播了一个小表，同时某些节点已满，没有剩余空间。

如果Spark由于内存错误而无法复制广播变量，那么广播有什么好处？

火花将如何处理这种情况？

Answer 1

在这种情况下，Spark会因OOM而崩溃。在这种情况下，与通过闭包传递数据的情况相比并没有什么不同。