处理EMR集群限制的好方法

时间:2014-05-26 09:30:38

标签: shell emr

我正在使用EMR处理日志。所以基本上它是一个命令行工具,它激活一些集群,然后设置处理部分。我面临的问题是当多个人同时尝试使用该工具时。它尝试为每个群集启动一个群集,从而达到MAX_LIMIT 50.我无法创建并永久保持群集运行,因为它可能处于空闲状态并将产生费用。

如何在脚本中处理此部分。另外,如何设置优先级以终止EMR群集并为高优先级请求设置新的onw。

任何指针都会受到高度赞赏。

1 个答案:

答案 0 :(得分:0)

AFAIK,没有亚马逊提供的工具。

如果空闲一段时间,您可以运行持久性群集并使用脚本终止它,并根据请求重新启动claster。当然它需要一些在后台运行的监控工具。或者您可以实现任务队列,并确保在给定时刻最多运行一个任务。

但是你必须自己实现所有选项,尽管它似乎非常简单,并且相对容易使用任何脚本语言。我们有类似于在python上编写的第二个选项,并在专用机器上作为服务运行。

相关问题