我负责在具有大量现有数据的Redshift集群上启用加密。基于this link,我知道在启用后它将创建一个新集群,并在这段时间内以只读方式复制现有数据。我们有许多针对Redshift集群运行的ETL作业,我正在尝试确定预计迁移所需的时间。是否可以根据数据大小/节点类型/集群配置进行任何估算?
答案 0 :(得分:2)
是否存在基于数据大小/节点的任何估计 类型/集群配置?
基本上没有。花费的时间长短取决于许多因素,其中一些是您无法控制的,因此很难预测。
您应该首先对此进行绝对测试,以便了解其含义以及可能花费的时间,例如
根据我调整群集大小的经验(类似但不同的练习),由于本地AWS资源,网络流量等的可变性,我将为测试时间提供+/- 10-15%的利润。
如果可能的话,我建议终止与群集的所有连接,以加快该过程。我们发现一个频繁轮询集群的过程导致调整大小过程花费了更长的时间。
对于一个参考点,一个20节点的ds簇具有大约。调整大小需要25 TB的数据,大约需要20个小时。