神经网络的Softmax层和最后一层

Question

我怀疑在softmax层之前的最后一层有1000个节点，并且我只有10个类来分类应输出1000个概率的softmax层如何仅输出10个概率

Answer 1

您的理解有误！ 1000个节点，将为每个示例输出10个概率，softmax是ACTIVATION函数！它将根据输入权重和输出权重采用上一层的线性组合，无论如何，输出的概率数等于类数！如果您添加更多详细信息，例如举一个神经网络的示例，我们可以为您提供进一步的帮助并进行更深入的解释，以便您了解正在发生的事情！

Answer 2

1000节点层的输出将是10节点层的输入。基本上，

x_10 = w^T * y_1000

w的大小必须为1000 x 10。现在，softmax函数将应用于x_10，以产生10类的概率输出。