弹跳MapReduce的后挂钩

时间:2013-04-03 16:48:21

标签: hadoop amazon-web-services hadoop-streaming emr

我想知道是否有EMR(Elastic MapReduce)的后期处理示例?我想要实现的是在亚马逊的Hadoop完成工作后立即向一群人发送电子邮件。

2 个答案:

答案 0 :(得分:5)

您需要配置作业结束通知网址。

jobEnd.notificationUrl

AWS将点击此网址,可能是查询变量指示哪个作业已完成(作业ID)。

然后,您可以在服务器上使用此URL处理您的电子邮件通知,假设您已经存储了电子邮件和工作ID之间的关系。

https://issues.apache.org/jira/browse/HADOOP-1111

答案 1 :(得分:3)

更简单的方法是使用Amazon CloudWatch(监控系统)和Amazon Simple Notification Service (SNS)来监控并通知您和其他人您的EMR工作状态。

例如,您可以为群集设置警报以检查其何时IsIdle。一旦作业完成(或失败),它将被设置为1,然后您可以将SNS通知作为电子邮件(或甚至是SMS)。您可以在JobsFailed和其他指标的计数上设置类似的警报。

有关EMR相关指标的完整列表,您可以看到EMR documentations

您可以在此处查看有关此内容的更多信息:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_ViewingMetrics.html