存储和处理高数据量

Question

美好的一天！

我有350GB的非结构化数据，按50-80列分列。

我需要将这些数据存储在NoSQL数据库中，并进行各种选择和map / reduce查询，过滤40列。

我想使用mongodb，所以我有一个问题：这个数据库是否能够应对这个任务？我需要在现有的提供者hetzner.de中实现其架构？

Answer 1

是的，大型数据集很简单。

也许Apache Hadoop也值得一看。它旨在处理/分析大量/大量数据。

Answer 2

如果使用得当，mongodb是一个非常可扩展且灵活的数据库。它可以根据需要存储尽可能多的数据，但最重要的是您是否可以有效地查询数据。

注释：

• 您需要确保拥有适当的索引，并且相当数量的索引可以放入RAM中。
• 为了达到这个目的，您可能需要使用分片来分割工作集
• 当前的mapreduce易于使用，可以遍历所有数据，但处理速度相当慢。它应该在下一个mongodb中变得更快，并且还将有一个新的聚合框架来补充mapreduce。

最重要的是，你不应该把mongodb作为一个完美的开箱即用的魔法商店，确保你阅读好的文档和材料：）