Question

我需要有关如何编写算法的建议或说明，该算法会在字符串中找到关键字或关键短语。

该字符串包含：

以英文（GB）编写的技术信息
单词大多以空格分隔
关键字不包含空格，但可能包含连字符，撇号，冒号等。
关键短语可能包含空格，逗号或其他标点符号
如果两个或多个关键字一起显示，则可能是一个关键词，例如“逆变器驱动”
该文本还包含HTML，但必要时可以预先删除
非关键字将是“and”，“the”，“we”，“see”，“look”等字样。
关键字不区分大小写，例如“逆变器”和“逆变器”是相同的关键字

该算法具有以下要求：

在批处理方案中操作，例如每天运行一次或两次
处理字符串的长度大致从 200到7000个字符
在不到1小时内处理1000个字符串
将在具有中等功率的服务器上执行
使用以下方法之一编写： C＃，VB.NET或T-SQL 甚至可能是F＃，Python或Lua等。
不依赖预定义关键字或关键短语列表
但依赖于关键字排除列表，例如“和”，“the”，“go”等。
理想情况下可转移到其他语言，例如不依赖于语言特定的功能，例如元编程
输出关键短语列表（频率降序），后跟关键字列表（频率降序）

如果它可以在几秒钟内处理多达8000个字符，这将是非常酷的，所以它可以实时运行，但我已经足够了！

只是寻求建议和指示：

这应该被视为两个独立的算法吗？
我可以遵循哪些已建立的算法？
我的要求是否可行？

非常感谢。

P.S。字符串将从SQL Server 2008 R2数据库中检索，因此理想情况下该语言将支持此功能，否则它必须能够读取/写入STDOUT，管道，流或文件等。

Answer 1

所涉及的逻辑使得在T-SQL中编程变得复杂。选择像C＃这样的语言。首先尝试制作一个简单的桌面应用程序。稍后，如果您发现将所有记录加载到此应用程序的速度太慢，您可以编写在SQL-Server上执行的C＃存储过程。根据SQL-Server的安全策略，它需要有一个强密钥。

现在算法。排除单词列表通常称为停用词列表。如果您对此搜索字词进行了一些Google搜索，您可能会找到可以开始使用的停用词列表。将这些停用词添加到HashSet<T>（我将在这里使用C＃）

// Assuming that each line contains one stop word.
HashSet<string> stopWords =
    new HashSet<string>(File.ReadLines("C:\stopwords.txt"), StringComparer.OrdinalIgnoreCase);

稍后您可以查看关键字候选词是否在

的停用词列表中

If (!stopWords.Contains(candidate)) {
    // We have a keyword
}

HashSets很快。它们的访问时间为O（1），这意味着执行查找所需的时间不依赖于它包含的项目数。

使用Regex可以轻松查找关键字。

string text = ...; // Load text from DB
MatchCollection matches = Regex.Matches(text, "[a-z]([:']?[a-z])*",
                                        RegexOptions.IgnoreCase);
foreach (Match match in matches) {
    if (!stopWords.Contains(match.Value)) {
        ProcessKeyword(match.Value); // Do whatever you need to do here
    }
}

如果您发现a-z对字母的限制太多而需要重音字母，则可以将正则表达式更改为@"\p{L}([:']?\p{L})*"。字符类\p{L}包含所有字母和字母修饰符。

短语更复杂。您可以尝试先将文本拆分为短语，然后对这些短语应用关键字搜索，而不是在整个文本中搜索关键字。这将同时为您提供短语中关键字的数量。

将文本拆分为短语涉及搜索以“。”结尾的句子。要么 ”？”要么 ”！”要么 ”：”。您应该排除单词中出现的点和冒号。

string[] phrases = Regex.Split(text, @"[\.\?!:](\s|$)");

这会在空格或行尾之后搜索标点符号。但我必须同意这不完美。它可能错误地将缩写检测为句末。您将不得不进行实验以改进分裂机制。

在字符串中查找关键字和关键短语的算法

1 个答案: