如何EMR自动缩放上/下?

时间:2016-04-24 18:23:26

标签: amazon-web-services emr

我是AWS EMR的新手,我需要根据使用情况自动扩展/缩小我的任务节点。我想在AppPending(向上扩展)和isIdle(向下扩展)的Cloudwatch警报上添加SNS事件。 我在想什么? 这有什么好的文件吗? 请指教。

感谢。

2 个答案:

答案 0 :(得分:0)

Amazon EMR中有无内置功能,可根据某些指标自动调整群集大小。

一种方法是添加/删除任务节点作为作业步骤。这不会根据需求自动扩展,但可以在您知道需要执行大型作业步骤时进行扩展。

例如,如果群集正在执行一批多个作业步骤,其中一个步骤需要更多服务器:

  • 创建添加任务节点的作业步骤
  • 创建工作步骤以执行工作
  • 创建作业步骤以删除多余的任务节点

要真正实现自动化,您需要监控一些指示重负荷的指标组合,然后相应地添加/删除节点。但是,指标的选择取决于您的特定工作负载。

另一种选择是为特定作业启动群集,然后在作业完成时终止群集。

答案 1 :(得分:0)

你可以看看Themis,一个在Atlassian开发的EMR自动缩放框架。

当前功能包括响应式自动缩放(基于当前使用情况)以及主动自动缩放(基于预定义的时间表)。

该工具还附带一个简单的Web UI,并且非常易于配置。