Question

我有一本关于生物医学实体的术语词典。每个术语（键）都有一个标识符列表（值）。

我必须在自由文本中找到这个术语。我有几个字典大约300,000个术语，为此我正在使用Python和Java来评估速度。

该算法类似于（在Python中）：

for sentence in text_list:
    terms = dictionary.keys()
    pattern = re.compile("|".join(terms))
    matches = pattern.finditer(sentence)
    for m in matches:
        ini = m.start()
        end = m.end()
        match = m.group(1)
        save_result(ini, end, match)

我正在使用pypi.python.org/pypi/regex包，因为标准的re包无法编译我的长正则表达式。另外，我在Java中做了相同的算法。

我使用大约650,000个句子，在Python中，编译需要3-4分钟，算法可以在3-4个小时内完成。

Java在几秒钟内编译正则表达式，但算法需要16-18小时...... O_o

我一直在阅读不同的网站，http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息，但我不知道如何处理。

我的问题是......我已经达到了在3个小时内完成所有句子，你知道另一种方法可以在更短的时间内完成同样的事情吗？也许用其他语言，或使用其他库或包？（在Java中，我使用的是标准库java.util.regex.*）。上面的网站谈到了Thonpson NFA算法，这个算法的库或包是用于Java，Python还是其他什么？ grep（Linux）是一个强大的工具，您认为我可以使用它吗？

Answer 1

正则表达式是这项工作的错误工具。使用您的术语创建字典（用于散列表的Python名称），将文本拆分为单词（使用string.split和string.rstrip删除标点符号），并根据此字典检查文本中的每个单词。

Answer 2

您正在为文本的每个句子重建和重新编译RE。在循环外编译一次：

terms = dictionary.keys()              # why are you using a dict?
pattern = re.compile("|".join(terms))

for sentence in text_list:
    matches = pattern.finditer(sentence)
    # etc.

这应该可以节省你一些时间。

如果您想要一个带有Cox描述的算法的RE库，请查看其RE2库的Python或Java绑定。或者，使用egrep或Awk。

映射任务中长正则表达式的最佳选择是什么？

2 个答案: