需要什么样的架构来存储100 TB数据并通过聚合进行查询?多少个节点?每个节点的磁盘大小?最佳做法是什么?
每天将写入240GB,但大小将保持不变,因为相同数量的数据将被删除。
或者有关存储数据和快速群组查询的任何不同想法?
答案 0 :(得分:3)
我强烈推荐HBase。
Facebook uses it for its Messages服务,该服务于2010年11月每天处理150亿封邮件。
我们测试了MongoDB的大型数据集,但最终还是使用了HBase,并且已经很乐意使用它几个月了。
答案 1 :(得分:1)
请参阅相关问题,
引用最佳答案:
MongoDB网站上的"production deployments"页面可能是 对你感兴趣。大量的演示文稿列出了基础设施 信息。例如:
http://blog.wordnik.com/12-months-with-mongodb说他们存储了3个 每个节点的TB。