主服务器关闭时,AWS EMR集群将终止

时间:2017-01-18 09:14:27

标签: amazon-web-services amazon-emr elastic-map-reduce master

目前,当EMR群集主服务器停止时(关闭行为:停止而不是终止),我们会丢失群集,因为一旦主服务器关闭,群集终止,EMR就已经过架构。我们处在一个硬件故障非常普遍的世界,未来EMR主机可能会失败,那么我们如何恢复存储在EMR集群上的数据?

同样,如果核心节点关闭并尝试硬重启(停止和启动);终止核心节点,配置的核心节点实现所需的核心容量,我们从终止的核心节点(数据损坏)中丢失所有数据(HDD)。

是否有任何解决方案可以阻止这些类型的终止?

2 个答案:

答案 0 :(得分:0)

这些情况极不可能发生,因为AWS已将Hadoop配置为跨多个实例复制拆分数据。

来自Amazon EMR' FAQs

  

问:Amazon EMR的可靠性如何?

     

Amazon EMR使用亚马逊高度可用,经过验证的网络基础架构和数据中心管理Amazon EC2计算实例群集。 Amazon EMR使用业界公认的容错Hadoop软件作为其数据处理引擎。 Hadoop将数据拆分为多个子集,并将每个子集分配给多个Amazon EC2实例。因此,如果Amazon EC2实例无法处理一个数据子集,则可以使用另一个Amazon EC2实例的结果。

答案 1 :(得分:0)

从EMR 5.23.0版本开始,您现在可以启动具有三个主节点的EMR群集并支持高可用性。 EMR announces Support for Multiple Master nodes