Tensorflow samples_softmax_loss示例

时间:2016-11-03 12:13:01

标签: python tensorflow sampling softmax

有人可以在 Tensorflow的sampled_softmax_loss上给我一个简单示例吗?

我尝试使用 sampled_softmax_loss 更改{em> num_sampled 的不同数字的tutorial的softmax和cross_enopy,但结果非常糟糕。

1 个答案:

答案 0 :(得分:1)

当您具有大量输出类时,将使用示例softmax。 主要原因是如果你对大量的输出类使用正常的softmax损失,那么就说5000,它的效率非常低,并且我们的计算机需要进行计算。因此,在计算softmax损失时,样本softmax只需要从总类数中考虑k个类。

使用的一个例子是序列来对张量流中的模型进行排序。

这些模块可以预测以顺序方式发生的事情。让我们说给定一个句子预测下一个单词。所以这里为了预测你有很多输出类的单词。 在这种情况下,它等于词汇量。因此softmax样本非常方便。 Link to the tensorflow seq2seq models