处理天文数据量大吗?

时间:2019-07-01 20:34:22

标签: database database-design bigdata biginteger computation-theory

我有一个应用程序可以查询具有特定编号(即1)的网页。当查询该页面并且全部说完后,我们不再想要返回该页面。因此,我们将其放入数据库中,这样就不会查询已经查询过的页面。

我看到了一个问题。最终(可能需要很长的时间)可能超过十亿行。这不仅是昂贵的存储,而且很难查询。

更重要的是,编号不是按照统一的顺序排列-所选的页码是从最大页码中随机选择的。它可能是1,然后是一五百万,然后又下降到仅仅3,000。因此,我不能每次都增加一个数字以显示我们必须打开的最小页码。

什么是确保不再再次查询页面的最佳方法?我希望我的问题有意义。

0 个答案:

没有答案