Redshift群集大小调整[磁盘空间不足]

Question

我们目前有一个ds2.xlarge的Redshift集群，我们想将其大小调整为dc2.large，但是这样做有很多问题。我们收到一个错误消息，说磁盘空间不足。

当前，我们有大约720GB的数据，并且正在尝试将其大小调整为具有5个节点（800gb）的dc2。

我不确定为什么要得到这个？你有什么主意吗？

Answer 1

Hibari-不建议将720GB的数据打包到Redshift群集中，最大存储量为800GB。这有几个原因：

1. 需要磁盘空间作为执行查询和其他数据操作（真空）的暂存空间
2. 暂存数据存储在磁盘上时不会被压缩
3. 数据加载操作（例如COPY）需要空间来存储传入的数据
4. Redshift基于多版本一致性，因此需要保留许多其他块，以便事务可以访问正确的数据

节点类型之间的转换将影响数据在磁盘上的存储方式-您正在从16个切片的1（？）节点移动到10个切片的5个节点。如果您有分配所有表，这些将被存储5次，而不是一次。这个新群集上的数据库大小可能不一样-可能更大或更小。

我希望真正的限制是组织新群集上的数据，因为这些数据来自旧群集。正如我提到的，飞行中的数据未压缩时，很可能是导致该问题的工作集。

您需要一个更大的群集来容纳大量数据。