实现softmax回归

Question

我正在尝试使用softmax回归制作神经网络。我使用以下回归公式：

假设我输入的是1000x100。换句话说，假设我有1000个图像，每个尺寸为10x10。现在，让我们说这些图像是来自A，B，C，D，E，F，G，H，I，J和I的字母的图像，试图预测这一点。我的设计如下：拥有100个输入（每个图像）和10个输出。

我有以下疑惑。鉴于n是x ^ n中的上标，关于分子，我应该执行w的点积（w =尺寸为10x100 - 10表示输出数量，100表示​​输入数量）和单个x（单个图像）或所有想象组合（1000x100）？我在python中编码，所以如果我点w和x ^ T（10x100点100x1000）的产品，那么我不知道我怎么能成为一个指数。我正在使用numpy。我很难围绕这些矩阵思考如何将它们作为一个指数来提升。

Answer 1

如果您正在培训神经网络，那么检查Theano库可能值得。它具有各种输出阈值功能，如 tanh ， softmax 等，并允许在GPU上训练神经网络。

x ^ n也是上面公式中最后一层的输出，而不是输入到某个指数。你不能把矩阵放在指数中。

您应该查看有关softmax回归的更多信息。 This可能会有所帮助。