我们目前正在评估已在YARN上支持MRv2的群集上的Spark。
我们注意到同时运行作业存在问题,特别是在作业完成之前,正在运行的Spark作业不会释放其资源。理想情况下,如果两个人运行MRv2和Spark作业的任意组合,则资源应该是公平分配的。
我注意到了一个名为"动态资源分配的功能"在Spark 1.2中,但这似乎并没有解决问题,因为它只在Spark处于空闲状态时释放资源,而不是在它处于忙碌时才释放资源。
我无法找到有关此事的任何进一步信息。另一方面,我认为对于很多用户来说这一定是很常见的问题。
所以,