我需要存储和访问表示单个元素的数十亿兆字节(至少2Tb,但不断增加)的数据。
要求是: -每个信息都必须易于搜索和检索 -数据研究必须非常快
这些使我问有关托管和将要使用的技术的两个问题。
首先,对于托管,我必须在内部托管和大型服务器之间进行选择,以进行索引,...(可能更便宜),或者选择更容易的云部署(但哪种云)(但这可能会花费更多)。
第二,除了这个问题之外,还依赖于将用于数据索引的技术(软件)的选择。由于我在大数据方面经验不足,因此在2Tb数据之前没有任何技术听起来像个好主意(SQL,NoSQL,对象存储)。
我已经看过从Google Big Table(看似有趣,但磁盘空间并不便宜)到Scaleway对象存储(非常便宜,但性能随单个元素数量而减少)的产品,我迷失了。您对我有什么提示,经验或想法吗?
谢谢