因此,作为理解kenlm的一部分,我需要了解查询模型的输出格式。请提供一些细节。
由于标签不可用,我无法在lm,kenlm上正确标记。
详细信息:
执行时:
bin/query trainingdata.binary < temp.txt
输出:
city=274 2 -3.71333 </s>=2 1 -0.914832 Total: -4.62817 OOV: 0
new=1037 2 -2.64194 york=2124 2 -2.27023 </s>=2 1 -0.867251 Total: -5.77943 OOV: 0
samsung=3 2 -2.39176 galaxy=4 3 -0.193832 s5=5 4 -0.536524 </s>=2 5 -0.595418 Total: -3.71753 OOV: 0
fingers=6 2 -4.25789 crossed=7 3 -1.00535 samsung=3 4 -0.766757 </s>=2 5 -0.757035 Total: -6.78703 OOV: 0
jessica=8 2 -3.77437 simpson=9 3 -0.45866 collection=10 4 -1.24209 </s>=2 5 -0.144034 Total: -5.61916 OOV: 0
plexus=11 2 -4.46277 slim=12 3 -0.804323 </s>=2 4 -0.606899 Total: -5.87399 OOV: 0
under=13 2 -3.23437 armour=14 3 -0.575785 outlet=15 4 -1.32109 </s>=2 5 -0.18898 Total: -5.32022 OOV: 0
amazon=16 2 -2.05178 seller=17 3 -2.5683 central=18 4 -0.94366 </s>=2 5 -0.643415 Total: -6.20716 OOV: 0
garcinia=19 2 -2.6464 cambogia=20 3 -0.101819 reviews=21 4 -1.86317 </s>=2 5 -0.0987858 Total: -4.71017 OOV: 0
womens=22 2 -3.10627 organic=23 3 -1.64262 lube.=24 4 -1.12123 </s>=2 5 -0.505745 Total: -6.37587 OOV: 0
doc=25 2 -3.00747 mcstuffins=26 3 -0.130808 </s>=2 4 -0.485077 Total: -3.62336 OOV: 0
</s>=2 1 -0.975736 Total: -0.975736 OOV: 0
Perplexity including OOVs: 30.9347
Perplexity excluding OOVs: 30.9347
OOVs: 0
Total time including destruction:
Name:query VmPeak:30664 kB VmRSS:1748 kB RSSMax:3132 kB user:0.000999 sys:0 CPU:0.000999 real:0.000817598
答案 0 :(得分:2)
输出格式是格式为
的单词序列word=ID LENGTH LOG_PROB
其中ID是单词的内部ID(在语言模型中),LENGTH是n-gram匹配的长度,LOG_PROB是该单词的概率。
答案 1 :(得分:0)
Matt的回答是正确的,按照我的意见,但为了更好地理解初学者,让我更详细地试试这个。
单词的输出格式为:
word = ID LENGTH LOG_PROB
其中ID将是训练语言模型中单词的id,LENGTH将是该单词所属的最长n-gram的长度以及在训练我们的语言模型时所考虑的邻居的长度LOG_PROB是我们训练有素的语言模型中出现的单词的logarithmic probability
。
对于句子级别,我们看到:
w1 = ID1 len1 log_prob1 w2 = ID2 len2 log_prob2 ......总计:t
此处Total
是句子的log probability
。由于它是对数,因此您需要计算10 to the power of that number "t"
。