用于通过3000万条记录表搜索10亿次的SQL /数据库

时间:2018-01-04 04:47:04

标签: mysql sql nosql

我有大约3000万条记录,其中包含最多64个字符长度的字符串 我有大约十亿字符串,我希望与那些3000万字符串相匹配。 如果可能的话,我想要进行子串匹配,如果不是完全匹配的话。

我尝试使用带有正确索引的mysql,但搜索的时间非常长,无论是LIKE还是=匹配。

尽可能快地进行此类搜索的最佳方法/数据库是什么? 在最坏的情况下,我可以尝试用C编程,但我更喜欢完成的解决方案

更新 我想我找到了一个可能的解决方案,我将CRC32无符号整数列添加到表中。 这将不允许LIKE搜索,但我可以基于crc32哈希进行整数搜索,然后从可能的重复中选择正确的匹配。 我想这将是完全匹配搜索的最快方式

0 个答案:

没有答案