从数十亿条记录中进行多维搜索的架构

时间:2016-06-06 15:10:02

标签: database database-design

我们的数据包含大约50亿条记录,并且将来每年至少会延续10亿条记录。最基本的对象是报价(产品销售)。每个商品都有一组数据,您可以在其中搜索它。像:

  • 提供标题(全文搜索),
  • 卖家
  • 产品类别,
  • 价格,
  • 开始/结束日期
  • 与销售日期的交易,评论

等。至少10个维度和2个维度需要全文搜索。并非所有这些都是最初可搜索的,但至少提供标题,类别,发行日期,卖方。现在,基础设施是一个强大的服务器(40核,256 GB RAM,一堆SSD),这些多维全搜索查询由弹性索引支持。现在查询对于WWW来说太慢了(平均接近10秒)。

一个基本问题是如何才能提高此类查询的效果?更详细的问题分为许多"子问题":

  • 使用什么引擎/技术
  • 跨多个服务器的数据复制如何影响性能
  • 可以将这些查询分成"子问题"若然,怎么样?

遗憾的是,我们的景色缺乏基础设施充裕的资金。现在我们有2台用于下载和处理数据的服务器和一台用于WWW应用的服务器。我们可以为WWW提供至少2台服务器。所以答案就像 - "你想要提高性能10倍 - 在20个其他服务器上复制你的数据"没用了。

0 个答案:

没有答案