关于YARN多租户的火花

时间:2015-10-02 08:57:04

标签: apache-spark

我们目前正在评估已在YARN上支持MRv2的群集上的Spark。

我们注意到同时运行作业存在问题,特别是在作业完成之前,正在运行的Spark作业不会释放其资源。理想情况下,如果两个人运行MRv2和Spark作业的任意组合,则资源应该是公平分配的。

我注意到了一个名为"动态资源分配的功能"在Spark 1.2中,但这似乎并没有解决问题,因为它只在Spark处于空闲状态时释放资源,而不是在它处于忙碌时才释放资源。

我无法找到有关此事的任何进一步信息。另一方面,我认为对于很多用户来说这一定是很常见的问题。

所以,

  1. 使用YARN处理多租户MRv2和Spark群集时有什么经验?
  2. Spark是否擅长支持在忙碌时释放资源?这是一个计划好的功能还是与Spark执行器的想法相冲突?

0 个答案:

没有答案