我们正在将Amazon EMR用于包含Spark作业的oozie工作流程。在我们的集群中,我们有1个Master,2个核心节点,并使用Task节点的第三方工具作为spot实例。
根据Yarn内存使用情况为任务节点设置自动调节。我们已配置为仅在核心节点中启动Application Master,因为任务节点是随时可能出现故障的点实例。
现在问题是有时正在运行的作业完全占用核心节点内存(AM +任务执行器),这使得处于接受状态的其他作业等待核心节点释放以释放AM。
我想知道是否可以仅限制AM在核心节点和任务节点中的任务执行器中启动。这样我们就可以并行运行多个作业。