目前,当EMR群集主服务器停止时(关闭行为:停止而不是终止),我们会丢失群集,因为一旦主服务器关闭,群集终止,EMR就已经过架构。我们处在一个硬件故障非常普遍的世界,未来EMR主机可能会失败,那么我们如何恢复存储在EMR集群上的数据?
同样,如果核心节点关闭并尝试硬重启(停止和启动);终止核心节点,配置的核心节点实现所需的核心容量,我们从终止的核心节点(数据损坏)中丢失所有数据(HDD)。
是否有任何解决方案可以阻止这些类型的终止?
答案 0 :(得分:0)
这些情况极不可能发生,因为AWS已将Hadoop配置为跨多个实例复制拆分数据。
来自Amazon EMR' FAQs:
问:Amazon EMR的可靠性如何?
Amazon EMR使用亚马逊高度可用,经过验证的网络基础架构和数据中心管理Amazon EC2计算实例群集。 Amazon EMR使用业界公认的容错Hadoop软件作为其数据处理引擎。 Hadoop将数据拆分为多个子集,并将每个子集分配给多个Amazon EC2实例。因此,如果Amazon EC2实例无法处理一个数据子集,则可以使用另一个Amazon EC2实例的结果。
答案 1 :(得分:0)
从EMR 5.23.0版本开始,您现在可以启动具有三个主节点的EMR群集并支持高可用性。 EMR announces Support for Multiple Master nodes