处理AWS EMR集群中任务节点的现场终止

时间:2016-07-29 19:48:07

标签: amazon-web-services emr

对于我的项目,我们希望创建一个具有ON-DEMAND主节点,核心节点和点任务节点的EMR集群。由于我们的整个数据都在S3中,因此我们希望将核心节点限制为1并仅将任务节点用于处理。

由于任务节点是有效的,我被阻止了如何处理点终止。每当spot实例关闭时,我都想创建按需任务节点来代替它们。

确定任务节点被终止的最佳方法是什么?通过describeCluster API调用?或通过现场终止通知?

提前致谢。

1 个答案:

答案 0 :(得分:0)

我建议现场终止通知是最佳选择。回收过程中增加了两分钟警告,正式称为竞价实例终止通知。您的应用程序可以使用此时间来保存其状态,上载最终日志文件或从Elastic Load Balancer中删除自身。此更改允许更多类型的应用程序受益于竞价型实例的规模和低价格。

这个博客真的很适合你。

https://aws.amazon.com/blogs/aws/new-ec2-spot-instance-termination-notices/