Hadoop YARN群集/ Spark和RAM磁盘

Question

由于我的计算任务需要快速的磁盘I / O，因此我有兴趣在运行Spark的YARN群集中的每个工作节点上安装大型RAM磁盘，因此想知道YARN群集管理器如何处理此类内存占用的内存。 RAM磁盘。

例如，如果我要为每台128GB RAM机器上的RAM磁盘分配32GB，YARN群集管理器是否会知道如何分配RAM，以避免执行任务时过度分配内存（在这种情况下，YARN是否会RAM到请求的任务，还是最多只有96GB）？

如果是这样，是否有任何方法可以向YARN集群管理器指示存在RAM磁盘，因此RAM的特定分区超出了YARN的限制？ Spark是否会知道这些约束？

Answer 1

在Spark配置中，您可以设置驱动程序和执行程序配置，例如内核和内存分配量。此外，当您使用yarn作为资源管理器时，它还支持一些额外的配置，可以帮助您更好地管理集群资源。 “ spark.driver.memoryOverhead”或“ spark.yarn.am.memoryOverhead”，即默认值为

的堆外空间量

  

AM内存* 0.10，最小为384

有关更多信息，这里是link。