如何检索常见元素/单词？

Question

我有一个巨大的单词列表（大约50K）存储在一个数据库中（我正在使用activerecord），我想使用它并检索匹配的单词对一大块文本。

我知道ruby提供了交集

t = "this is a sample text, was created for demo"
w = ["is","a","was","to","and"] 

t.split & w #=> ["is", "a", "was"]

但是我怎么能用50K字呢呢？进行这种匹配的频率可能是每天1000次左右。

Answer 1

如何使用全文搜索引擎呢？以下是一些链接：

1. Thinking Sphinx gem用于Sphinx搜索引擎。
SolL搜索引擎的
2. RSolr gem。

据我所知，对于您当前的任务来说，这可能是一种过度杀伤，但对于更复杂的变体来说，它是最合适且最高效的解决方案。