Amazon Auto Scaling服务可以与Elastic Map Reduce服务一起使用吗?

时间:2010-10-17 23:42:01

标签: amazon-web-services mapreduce autoscalemode

因为亚马逊网络服务需要支付,所以我想在我跳入之前询问那些曾经工作过的人,并确认一些有关它的知识。

问题一: 在亚马逊自动扩展服务中,它表示可以扩展和缩小实例。 这是什么意思?

是否意味着更改实例的类型?或者可以在条件定义上启动/停止更多/更少的实例?

问题二: 自动缩放框架可以使用map reduce吗?

例如,如果我有一个极端的情况,我将有无尽的任务,完成任务的时间将有所不同,并可能是非常计算密集的。 那么我可以使用自动缩放服务来缩放地图缩小吗?

谢谢

2 个答案:

答案 0 :(得分:0)

重。问题一:"放大和缩小"意味着他们可以根据需要添加更多实例,然后可以在不再需要实例时减少实例数(即虚拟机实例可以关闭)。

重。问题二:我认为自动缩放对于地图缩减并没有多大意义,至少如果您正在考虑Hadoop:Map / Reduce& Hadoop是数据在很多节点之间分离,然后节点可以处理 close 的数据 - 理想情况是在本地磁盘上或至少在另一台机器上(物理上)接近。当然可以启动新实例,但只要您不必将要处理的数据复制到新实例,这才有意义。希望这个解释对你有意义......无论如何,请查看Amazon's Elastic Map Reduce提供的内容,这可以做你想要的,至少在我理解你的问题的时候。

答案 1 :(得分:0)

你可以看看Themis,一个在Atlassian开发的EMR自动缩放框架。当前功能包括响应式自动调节(基于当前集群负载)以及主动自动调节(基于预定义的调度),它带有Web UI,并且该工具非常易于配置。

(在旧帖子中发帖道歉,但对于发现此帖子的读者来说,答案可能仍然很有趣。)