我想知道是否有EMR(Elastic MapReduce)的后期处理示例?我想要实现的是在亚马逊的Hadoop完成工作后立即向一群人发送电子邮件。
答案 0 :(得分:5)
您需要配置作业结束通知网址。
jobEnd.notificationUrl
AWS将点击此网址,可能是查询变量指示哪个作业已完成(作业ID)。
然后,您可以在服务器上使用此URL处理您的电子邮件通知,假设您已经存储了电子邮件和工作ID之间的关系。
答案 1 :(得分:3)
更简单的方法是使用Amazon CloudWatch(监控系统)和Amazon Simple Notification Service (SNS)来监控并通知您和其他人您的EMR工作状态。
例如,您可以为群集设置警报以检查其何时IsIdle。一旦作业完成(或失败),它将被设置为1,然后您可以将SNS通知作为电子邮件(或甚至是SMS)。您可以在JobsFailed和其他指标的计数上设置类似的警报。
有关EMR相关指标的完整列表,您可以看到EMR documentations
您可以在此处查看有关此内容的更多信息:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_ViewingMetrics.html