找到常见的子串

Question

我有N个字符串。我希望找到至少2个字符长的所有子串，至少出现2个字符串。

对于以下字符串：

1. 我的名字是daniel
2. 你叫什么名字？
3. 他们叫我daniel

它应该返回（不包括只有一个字符的字符串）：

• “name” - 1.＆amp; 2。
• “是” - 1.＆amp; 2。
• “daniel” - 1.＆amp; 3。
• “我” - 1.＆amp; 3。
• “y” - 1.＆amp; 3。

字符串的长度可能很长（1KB-10KB）。我几乎没有内存问题（~2GB） - 我只需要尽快计算这些常见字符串。

提前致谢！ 丹尼尔。

Answer 1

我建议在数据库中制作3个表：

1. 包含文字
中单个单词的索引表
2. 包含文字
的表格
3. 一个包含从单词到文本的引用的表

方法是这样的：

1. 将字符串添加到文本表（2）
2. 用文字分割字符串
3. 对于每个单词：如果单词不在索引（1）表中，则添加它。
每个单词
4. ：在参考表（3）中添加一个条目，链接到单词和文本表

如果你有这种结构，你现在可以很容易地计算出词语，它们发生的频率以及它们发生的位置。

如果在索引表上放置索引，则可以非常快速地搜索。

Answer 2

我发现我最好的选择是在字符串之间进行所有可能的组合（大约n ^ 2种组合），然后在每种组合上运行LCS算法。现在我可以比较所有结果来处理它们。

每次运行LCS算法时，O（n ^ 2 * m ^ 2） - n ^ 2个O（m ^ 2）组合。

我知道这是天真的实现，但它是我能找到的最好的实现。

非常感谢： - ）