语言模型的困惑如何在0和1之间？

Question

在Tensorflow中，我得到的输出如0.602129或0.663941。似乎接近0的值意味着更好的模型，但似乎困惑应该被计算为2 ^损失，这意味着损失是负的。这没有任何意义。

Answer 1

这对我来说没有多大意义。困惑计算为2^entropy。并且熵是从0到1.所以你的结果是＆lt; 1没有意义。

我建议你看看你的模型如何计算困惑，因为我怀疑可能有错误。