火花如何处理驱动程序内存？它正在使用更多空间然后分配

Question

如图所示受5.2g限制的存储器（驱动器）如何被火花超过36.5g？

如何进行内存分配？默认情况下，火花会使用磁盘除RAM吗？如UI中所示，它使用16.5g磁盘空间（磁盘空间使用限制是多少？）。

Answer 1

您的第一个问题：

  

如何进行内存分配？在默认设置下，是否会激活使用磁盘而不是RAM？

是。请阅读有关区块经理here的信息。正如它指出的那样，

  

BlockManager管理可以表示缓存的RDD分区，中间混洗输出，广播等的块的存储。它也是一个BlockEvictionHandler，它从内存中删除一个块并将其存储在磁盘上（如果适用）。

您的第二个问题：

  

磁盘空间使用的限制是什么？

据我所知，没有限制。如果执行人没有足够的空间，他们就会开始死亡。您可以参考this了解更多详情。