在修补程序分配上在YARN上运行的Apache Spark

Question

现在正在发生的事情是YARN只是从一个Spark作业中获取了许多执行程序，并将其交给另一个Spark作业。结果，此Spark作业遇到错误而死亡。

是否存在某种方式或现有配置，使得在YARN上运行的某些spark作业具有固定的资源分配？

Answer 1

固定资源分配是一个古老的概念，并且无法充分利用资源。动态资源分配是YARN的高级/预期功能。因此，我建议您了解实际情况。如果作业已经在运行，则YARN不会占用资源并将其提供给其他人。如果没有可用的资源，则第二个作业将排队，并且不会突然从第一个作业中拉出资源。原因是容器具有内存和CPU的组合。如果将内存分配给其他作业，则从根本上讲这意味着第一个作业的JVM永远丢失。 YARN没有执行所提到的。