1.4f seq2seq教程中的采样丢失

Question

任何人都可以告诉我，为什么在https://github.com/tensorflow/nmt/tree/tf-1.4的tf 1.4的seq2seq教程中 他们没有使用抽样的softmax损失？在他们的模型中，他们有40000个词条的词汇量，只使用减少的Arrays.sort总和来获得他们的训练损失..

Answer 1

在我看来，采样softmax只适用于训练，当张量流知道哪些类是负数并且它不计算所有类的损失但很少采样负类和正类。 对于NMT，我们希望最终得到预测，在这种情况下，采样会损害性能。 此外，在softmax的情况下，40000个条目并不是那么糟糕。