哪个是用于索引互联网的最佳数据库?

时间:2014-11-05 10:04:15

标签: database

如果您必须为8000万条记录(互联网上的每个页面一条记录)做好准备,并存储这些记录之间的关系(这是800亿到第n次幂),哪个数据库最适合这个?< / p>

我开始这个项目以为我们只会映射一部分互联网,但遗憾的是它远远超出了mysql的限制。我需要一种更好的方法来跟踪这些数据。前端是PHP,但我想后端可以是任何东西,只要它可以处理那么多的数据?

1 个答案:

答案 0 :(得分:1)

我不会说有一个神圣的数据库可以满足您的需求,也许您的公司可以更好地将数据库拆分为逻辑部分以更好地处理数据量。也许你可以将一些数据外包到文件系统中,因为你不会在数据库中每次都需要任何东西。

如果您扫描互联网,您可能会将您抓取的html,css或任何大数据保存到文件系统中,同时保存连接以及与数据库相关的所有元数据。但我真的认为你已经提到过了。

我想在这里给出的最佳建议是确保在考虑切换数据库之前,您的数据库结构最适合您的流程。如果你真的需要切换(因为mysql不会给你更多的性能),将有mongodb和/或webscalesql。 facebook可以使用webscale来处理他们的数据量。

如果您只是通过改进硬件来提高性能,那么一个很大的问题就是如此。在检查完结构和流程之后,你应该检查一下!