如果训练中未包含softmax，如何在TensorFlow中获得softmax的参数？

Question

Here is a tensorflow graph，我们可以看到交叉熵的输入之一是logit层的输出，而不是图中的softmax的输出。

我对此进行了搜索，并发现“警告：此op期望未缩放的logit，因为它在内部对logit执行softmax以提高效率。请勿使用softmax的输出来调用此op，因为这会产生错误的结果。”在this webpage上。

我的问题是，如果不训练softmax，如何获得softmax的参数？

Answer 1

Softmax是一个无参数的激活函数，如RELU，Tanh或Sigmoid：不需要培训。它只计算每个logit的指数，然后通过指数之和对输出向量进行归一化。