处理EMR集群限制的好方法

Question

我正在使用EMR处理日志。所以基本上它是一个命令行工具，它激活一些集群，然后设置处理部分。我面临的问题是当多个人同时尝试使用该工具时。它尝试为每个群集启动一个群集，从而达到MAX_LIMIT 50.我无法创建并永久保持群集运行，因为它可能处于空闲状态并将产生费用。

如何在脚本中处理此部分。另外，如何设置优先级以终止EMR群集并为高优先级请求设置新的onw。

任何指针都会受到高度赞赏。

Answer 1

AFAIK，没有亚马逊提供的工具。

如果空闲一段时间，您可以运行持久性群集并使用脚本终止它，并根据请求重新启动claster。当然它需要一些在后台运行的监控工具。或者您可以实现任务队列，并确保在给定时刻最多运行一个任务。

但是你必须自己实现所有选项，尽管它似乎非常简单，并且相对容易使用任何脚本语言。我们有类似于在python上编写的第二个选项，并在专用机器上作为服务运行。