想要建立一个拥有70亿个关键字的数据库 - 需要指导

时间:2016-09-02 06:23:30

标签: mysql database lucene database-administration

好的,我想为拥有4列和70亿行的客户构建一个数据库。我甚至不知道mysql是否可以处理这个问题。我需要有关如何进行此操作的指导(当然我会雇用某人来做这件事。)

我想要的是什么:

前两列是关键字和计数。 Count是数字,关键字是字符串。查询可以是:

选择包含单词,不具有,等于或/且计数大于或小于等的关键字。

所以基本上是可搜索的数据库。我知道全文,但仅限于单词。如何使两个列都可搜索和快速。我需要在几毫秒内在查询中返回数千个关键字,如google auto-suggest?

我有什么:

功能强大的数据库 - 32 GB内存,AMD opteron 3365 2.30 GHz四核(HT),2 TB SATA(我知道我需要SDD,但万一这样做会很好)。

如果10,000个用户正在查询该数据库,这可以工作吗?

我在制表符分隔的文本文件中看到了数据。 lucene可以做到这一点吗?我将不得不在mysql中导入txt然后索引它?还有什么比这更好的呢?

请告诉我。另外,如果你能告诉我一些这样做的公司或者来自这里的人可以帮我设置它吗?对于有支持的创业公司而言,所以不用担心涉及成本。

1 个答案:

答案 0 :(得分:1)

MySQL不会这样做。您将花费大量时间(可能还有钱)对其进行分区,以便可以搜索。

Lucene会这样做。抓住自己的ElasticSearch,设置分片并获得结果。您必须学习不同的查询语言(不同于SQL),但开箱即用的反向索引成本很低。