PostgreSQL和S3QL用于存储/访问大量数据

Question

我们目前正在亚马逊的EC2上使用Postgres 9，并且对性能非常满意。现在我们正在考虑向Postgres添加大约2TB的数据，这比我们的EC2小实例可以容纳的大。

我找到了S3QL，并考虑将它与将Postgres数据目录移动到S3存储一起使用。有没有人有这样做的经验？我主要关心的是性能（频繁读取，写频率较低）。欢迎任何建议，谢谢。

Answer 1

我的建议是“不要那样做”。我对你的问题的上下文一无所知，但我想解决方案不必涉及通过PostgreSQL进行批量数据处理。网格处理系统发明的全部原因是为了解决分析大数据集的问题。我认为您应该考虑构建一个遵循标准BI实践的系统来提取维度数据。然后获取该规范化数据，并假设它仍然非常大，将其加载到Hadoop / Pig中。在那里进行分析和汇总。将生成的聚合数据转储到一个文件中，并将 加载到PG数据库的旁边。