用于获取AWS EMR中任务实例组实例计数的API

时间:2016-08-11 18:52:29

标签: java hadoop mapreduce amazon-emr elastic-map-reduce

我想在AWS EMR中获取任务实例组实例的计数。

为此,我使用Cloudwatch检查每个任务实例组实例的心跳。但我认为,最后EMR是一个使用hadoop的框架,而hadoop的master必须拥有实时任务节点的信息。

有人可以告诉我元数据链接(或任何文件位置)以获取此信息吗?

1 个答案:

答案 0 :(得分:1)

我编写了一个Java工具,用于在处理过程中动态调整EMR集群的大小。它有一些代码来获取实例中的实例数,作为其中的一部分。也许这就是你要找的东西。请查看:

http://www.lopakalogic.com/articles/hadoop-articles/dynamically-resize-emr/

源代码可在Github上找到