我是AWS EMR的新手,我需要根据使用情况自动扩展/缩小我的任务节点。我想在AppPending(向上扩展)和isIdle(向下扩展)的Cloudwatch警报上添加SNS事件。 我在想什么? 这有什么好的文件吗? 请指教。
感谢。
答案 0 :(得分:0)
Amazon EMR中有无内置功能,可根据某些指标自动调整群集大小。
一种方法是添加/删除任务节点作为作业步骤。这不会根据需求自动扩展,但可以在您知道需要执行大型作业步骤时进行扩展。
例如,如果群集正在执行一批多个作业步骤,其中一个步骤需要更多服务器:
要真正实现自动化,您需要监控一些指示重负荷的指标组合,然后相应地添加/删除节点。但是,指标的选择取决于您的特定工作负载。
另一种选择是为特定作业启动群集,然后在作业完成时终止群集。
答案 1 :(得分:0)
你可以看看Themis,一个在Atlassian开发的EMR自动缩放框架。
当前功能包括响应式自动缩放(基于当前使用情况)以及主动自动缩放(基于预定义的时间表)。
该工具还附带一个简单的Web UI,并且非常易于配置。