对于我的项目,我们希望创建一个具有ON-DEMAND主节点,核心节点和点任务节点的EMR集群。由于我们的整个数据都在S3中,因此我们希望将核心节点限制为1并仅将任务节点用于处理。
由于任务节点是有效的,我被阻止了如何处理点终止。每当spot实例关闭时,我都想创建按需任务节点来代替它们。
确定任务节点被终止的最佳方法是什么?通过describeCluster API调用?或通过现场终止通知?
提前致谢。
答案 0 :(得分:0)
我建议现场终止通知是最佳选择。回收过程中增加了两分钟警告,正式称为竞价实例终止通知。您的应用程序可以使用此时间来保存其状态,上载最终日志文件或从Elastic Load Balancer中删除自身。此更改允许更多类型的应用程序受益于竞价型实例的规模和低价格。
这个博客真的很适合你。
https://aws.amazon.com/blogs/aws/new-ec2-spot-instance-termination-notices/