当Spark作业具有非常不同的执行程序资源要求时,如何提交作业

时间:2016-03-09 18:37:08

标签: apache-spark yarn

我们说我的工作有以下几点:

作业1:长时间运行的CPU绑定 工作2:每个执行者需要一大堆

我希望能够以低内存运行作业1,并且能够以更多内存运行作业2。我唯一的选择是将其分解为可以使用单独的执行程序配置提交(到我的YARN群集)的单独应用程序吗?

0 个答案:

没有答案