在实时Hadoop集群中-将数据从Prem迁移到云而无需复制

时间:2018-08-14 07:00:53

标签: database amazon-web-services hadoop cloud

在LIVE hadoop群集中,由于数据大小超过1 PB,因此如何将数据从Prem迁移到云而不将数据从Prem复制到云。如果我们进行复制操作,则由于网络带宽的原因,传输将需要数周的时间。 假设在位置A的群集中有40个数据节点,我们想将数据中心位于位置B的数据移动到云中。以3的复制因子复制数据。 我的解决方案是每天在群集中添加5个云节点,并在运行平衡器之后每天在Prem节点上停止2个云节点。假设数据将在1天之内达到平衡,那么整个集群最多需要20天才能迁移到云。

我正在尝试找出其他方式,即使有人可以按照我的计划更正我。

谢谢

0 个答案:

没有答案