Question

最近，我查看了几种拼写检查算法，包括简单算法（如Peter Norvig's）和更复杂的算法（如Brill and Moore's）。但是有一种错误，他们都无法处理。例如，如果我输入stackoverflow而不是stack overflow，则这些拼写检查器将无法更正错误类型（除非术语词典中的stack overflow）。存储所有单词对太昂贵（如果错误是3个单词而它们之间没有空格则无济于事）。是否有一种算法可以纠正（尽管通常是错误的）这种类型的错误？

我需要的一些例子：
spel checker - ＆gt; spell checker
spellchecker - ＆gt; spell checker
spelcheker - ＆gt; spell checker

Answer 1

我砍掉了Norvig的法术纠正器来做到这一点。我不得不作弊并在Norvig的数据文件中添加“checker”这个词，因为它永远不会出现。没有这种欺骗，问题就很难了。

expertsexchange expert exchange
spel checker spell checker
spellchecker spell checker
spelchecker she checker  # can't win them all
baseball base all  # baseball isn't in the dictionary either :(
hewent he went

基本上你需要更改代码，以便：

您在字母表中添加空格以自动浏览单词分隔符。
首先检查构成短语的所有单词是否在字典中以考虑短语有效，而不仅仅是字典成员资格（dict不包含短语）。
你需要一种方法来对抗简单的单词。

后者是最棘手的，我使用一个脑independence独立假设用于短语组合，两个相邻单词的概率是它们各自概率的乘积（这里用对数概率空间中的和完成），带有小的惩罚。我相信在实践中，你会想要保留一些二元天的统计数据来做好分裂。

import re, collections, math

def words(text): return re.findall('[a-z]+', text.lower())

def train(features):
  counts = collections.defaultdict(lambda: 1.0)
  for f in features:
    counts[f] += 1.0
  tot = float(sum(counts.values()))
  model = collections.defaultdict(lambda: math.log(.1 / tot))
  for f in counts:
    model[f] = math.log(counts[f] / tot)
  return model

NWORDS = train(words(file('big.txt').read()))

alphabet = 'abcdefghijklmnopqrstuvwxyz '

def valid(w):
  return all(s in NWORDS for s in w.split())

def score(w):
  return sum(NWORDS[s] for s in w.split()) - w.count(' ')

def edits1(word):
  splits     = [(word[:i], word[i:]) for i in range(len(word) + 1)]
  deletes    = [a + b[1:] for a, b in splits if b]
  transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
  replaces   = [a + c + b[1:] for a, b in splits for c in alphabet if b]
  inserts    = [a + c + b     for a, b in splits for c in alphabet]
  return set(deletes + transposes + replaces + inserts)

def known_edits2(word):
  return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if valid(e2))

def known(words): return set(w for w in words if valid(w))

def correct(word):
  candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
  return max(candidates, key=score)

def t(w):
  print w, correct(w)

t('expertsexchange')
t('spel checker')
t('spellchecker')
t('spelchecker')
t('baseball')
t('hewent')

Answer 2

这个问题与应用于德语或荷兰语的复合分裂问题非常相似，但也有嘈杂的英语数据。请参阅Monz & De Rijke了解一个非常简单的算法（我认为可以将其作为有效状态传感器实现效率）和Google用于“复合分裂”和“分解”。

Answer 3

我有时会在kate中进行拼写检查时得到这样的建议，所以当然有一种算法可以纠正一些这样的错误。我相信一个人可以做得更好，但有一个想法是将候选人分成可能的位置并检查是否存在组件的紧密匹配。困难的部分是决定什么是可能的地方。在我熟悉的语言中，有些字母组合在单词中很少出现。例如，据我所知，组合dk或lh在英语单词中很少见。其他组合通常出现在单词的开头（例如un，ch），因此这些也是分裂的好猜测。在示例spelcheker中，lc组合并不太广泛，ch是单词的常见开头，因此拆分spel和cheker是主要候选人，然后任何体面的算法都会找到spell和checker（但它可能也会找到spiel，所以不要自动更正，只需提供建议。）

具有融合拼写错误校正算法的拼写检查器

3 个答案: