需要了解kenlm查询的输出格式

时间:2014-06-18 19:14:00

标签: nlp n-gram language-model

kllm纸似乎对LM有好处。我觉得给出了最少的文档,感觉难以理解。

因此,作为理解kenlm的一部分,我需要了解查询模型的输出格式。请提供一些细节。

由于标签不可用,我无法在lm,kenlm上正确标记。

详细信息:

执行时:

bin/query trainingdata.binary < temp.txt

输出:

city=274 2 -3.71333 </s>=2 1 -0.914832  Total: -4.62817 OOV: 0

new=1037 2 -2.64194 york=2124 2 -2.27023    </s>=2 1 -0.867251  Total: -5.77943 OOV: 0

samsung=3 2 -2.39176    galaxy=4 3 -0.193832    s5=5 4 -0.536524    </s>=2 5 -0.595418  Total: -3.71753 OOV: 0

fingers=6 2 -4.25789    crossed=7 3 -1.00535    samsung=3 4 -0.766757   </s>=2 5 -0.757035  Total: -6.78703 OOV: 0

jessica=8 2 -3.77437    simpson=9 3 -0.45866    collection=10 4 -1.24209    </s>=2 5 -0.144034  Total: -5.61916 OOV: 0

plexus=11 2 -4.46277    slim=12 3 -0.804323 </s>=2 4 -0.606899  Total: -5.87399 OOV: 0

under=13 2 -3.23437 armour=14 3 -0.575785   outlet=15 4 -1.32109    </s>=2 5 -0.18898   Total: -5.32022 OOV: 0

amazon=16 2 -2.05178    seller=17 3 -2.5683 central=18 4 -0.94366   </s>=2 5 -0.643415  Total: -6.20716 OOV: 0

garcinia=19 2 -2.6464   cambogia=20 3 -0.101819 reviews=21 4 -1.86317   </s>=2 5 -0.0987858 Total: -4.71017 OOV: 0

womens=22 2 -3.10627    organic=23 3 -1.64262   lube.=24 4 -1.12123 </s>=2 5 -0.505745  Total: -6.37587 OOV: 0

doc=25 2 -3.00747   mcstuffins=26 3 -0.130808   </s>=2 4 -0.485077  Total: -3.62336 OOV: 0
</s>=2 1 -0.975736  Total: -0.975736 OOV: 0

Perplexity including OOVs:  30.9347

Perplexity excluding OOVs:  30.9347
OOVs:   0

Total time including destruction:

Name:query  VmPeak:30664 kB VmRSS:1748 kB   RSSMax:3132 kB  user:0.000999   sys:0   CPU:0.000999    real:0.000817598

2 个答案:

答案 0 :(得分:2)

输出格式是格式为

的单词序列
word=ID LENGTH LOG_PROB

其中ID是单词的内部ID(在语言模型中),LENGTH是n-gram匹配的长度,LOG_PROB是该单词的概率。

答案 1 :(得分:0)

Matt的回答是正确的,按照我的意见,但为了更好地理解初学者,让我更详细地试试这个。

单词的输出格式为:

  

word = ID LENGTH LOG_PROB

其中ID将是训练语言模型中单词的id,LENGTH将是该单词所属的最长n-gram的长度以及在训练我们的语言模型时所考虑的邻居的长度LOG_PROB是我们训练有素的语言模型中出现的单词的logarithmic probability

对于句子级别,我们看到:

  

w1 = ID1 len1 log_prob1 w2 = ID2 len2 log_prob2 ......总计:t

此处Total是句子的log probability。由于它是对数,因此您需要计算10 to the power of that number "t"