Amazon EMR - 如何限制Spark任务执行程序仅在任务节点而非核心节点中启动

时间:2018-06-15 09:28:03

标签: amazon-web-services apache-spark emr

我们正在将Amazon EMR用于包含Spark作业的oozie工作流程。在我们的集群中,我们有1个Master,2个核心节点,并使用Task节点的第三方工具作为spot实例。

根据Yarn内存使用情况为任务节点设置自动调节。我们已配置为仅在核心节点中启动Application Master,因为任务节点是随时可能出现故障的点实例。

现在问题是有时正在运行的作业完全占用核心节点内存(AM +任务执行器),这使得处于接受状态的其他作业等待核心节点释放以释放AM。

我想知道是否可以仅限制AM在核心节点和任务节点中的任务执行器中启动。这样我们就可以并行运行多个作业。

0 个答案:

没有答案