Question

我正在尝试创建一个CRF模型，将日语句子细分为单词。目前，我并不担心完美的结果，这只是一个测试。训练进行得很好，但是当训练结束时，它总是会为我尝试标记的每个句子给出相同的猜测。

"""Labels: X: Character is mid word, S: Character starts a word, E:Character ends a word, O: One character word"""
    Sentence:広辞苑や大辞泉には次のようにある。
    Prediction:['S', 'X', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E']
    Truth:['S', 'X', 'E', 'O', 'S', 'X', 'E', 'O', 'O', 'O', 'O', 'S', 'E', 'O', 'S', 'E', 'O']
    Sentence:他にも、言語にはさまざまな分類がある。
    Prediction:['S', 'X', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E', 'S', 'E']
    Truth:['O', 'O', 'O', 'O', 'S', 'E', 'O', 'O', 'S', 'X', 'X', 'X', 'E', 'S', 'E', 'O', 'S', 'E', 'O']

查看模型的过渡信息时：

{('E', 'E'): -3.820618,
 ('E', 'O'): 3.414133,
 ('E', 'S'): 2.817927,
 ('E', 'X'): -3.056175,
 ('O', 'E'): -4.249522,
 ('O', 'O'): 2.583123,
 ('O', 'S'): 2.601341,
 ('O', 'X'): -4.322003,
 ('S', 'E'): 7.05034,
 ('S', 'O'): -4.817578,
 ('S', 'S'): -4.400028,
 ('S', 'X'): 6.104851,
 ('X', 'E'): 4.985887,
 ('X', 'O'): -5.141898,
 ('X', 'S'): -4.499069,
 ('X', 'X'): 4.749289}

这看起来不错，因为所有带有负值的转换都是不可能的，例如，E-> X，从一个单词的结尾到下一个单词的中间。 S-> E gets具有最高值，并且如上图所示，该模型只是反复进入依次标记为S和E的模式，直到句子结束。尝试此操作时，我遵循了this demo，尽管该演示用于分隔拉丁语。我的特征类似地只是n-gram：

['bias',
 'char=ま',
 '-2-gram=さま',
 '-3-gram=はさま',
 '-4-gram=にはさま',
 '-5-gram=語にはさま',
 '-6-gram=言語にはさま',
 '2-gram=まざ',
 '3-gram=まざま',
 '4-gram=まざまな',
 '5-gram=まざまな分',
 '6-gram=まざまな分類']

我尝试将标签的开始和其他位置仅更改为S和X，但这只会导致模型重复S，X，S，X，直到字符用完。我在两个方向上的重量都增加了6克，这花费了更长的时间，但没有改变任何东西。尝试训练更多迭代并稍微更改L1和L2常数。我已经接受了多达100,000个句子的培训，这几乎是我所能做的，因为我几乎要用掉所有16GB的内存。我的功能结构是否错误？我如何使模型停止以某种模式进行猜测，即使发生了什么？非常感谢您的帮助，如果需要向问题添加更多信息，请告诉我。

Answer 1

结果是我错过了一步。我将原始句子传递给标记器而不是传递特征，因为CRF显然可以接受字符串，就好像它是几乎没有特征的条目的列表一样，它只是默认猜测最高等级的过渡，而不是引发错误。我不确定这是否会帮助其他人，因为这是一个愚蠢的错误，但是我会在这里回答，直到我决定是否要删除问题为止。

固定模式的Python-crfsuite标签

1 个答案: