如何动态管理EMR集群

时间:2019-10-14 11:37:34

标签: amazon-web-services hadoop mapreduce amazon-emr

我有一些计划在EMR上运行的批处理作业。 我正计划构建一个基于元数据的后端系统(我们称其为EMR_MANAGER),它将根据请求启动新的EMR集群,并在闲置50分钟后将其终止。

场景: App1请求EMR群集。 EMR_MANAGER将创建一个新的EMR群集,并将群集ID提供给App1以供使用。一旦app1完成处理,它将向EMR_MANAGER发送信号。 EMR_MANAGER将在50分钟内不会终止集群。该群集将提供任何其他请求EMR群集的应用程序。任何处于50分钟阈值的活动空闲集群都将由EMR_MANAGER终止。

问题: 有没有可用的系统来做到这一点?我想确保我没有重新发明轮子。谢谢!

0 个答案:

没有答案