Question

由于我的硕士研究的项目工作，我正在使用谷歌的tensorflow库实现神经网络。在那，我想确定（在我的前馈神经网络的输出层）并行的几个标签。并且作为输出层的激活功能，我想使用softmax功能。所以我想要具体的是输出是一个看起来像这样的Vector：

vec = [0.1, 0.8, 0.1,   0.3, 0.2, 0.5]

这里前三个数字是第一个分类的三个类别的概率，其他三个数字是第二个分类的三个类别的概率。所以在这种情况下，我会说标签是：

[ class2 , class3 ]

在第一次尝试中，我尝试通过首先使用tf.reshape（）将（1x6）向量重新整形为（2x3）矩阵，然后在矩阵tf.nn.softmax（）上应用softmax函数来实现此目的。最后将矩阵重新整形为矢量。不幸的是，由于重塑，Gradient-Descent-Optimizer在计算渐变时出现问题，所以我尝试了不同的东西。

我现在做的是，我取（1x6）向量并将其乘以一个矩阵，该矩阵在上部具有（3x3）单位矩阵，在下部具有（3x3）零矩阵。我这个，我提取了矢量的前三个条目。然后我可以应用softmax函数并通过另一个矩阵乘法将其恢复为（1x6）的旧形式。这也必须为其他三个向量条目重复。

outputSoftmax  = tf.nn.softmax( vec * [[1,0,0],[0,1,0],[0,0,1],[0,0,0],[0,0,0],[0,0,0]] ) *  tf.transpose( [[1,0,0],[0,1,0],[0,0,1],[0,0,0],[0,0,0],[0,0,0]] )
               + tf.nn.softmax( vec * [[0,0,0],[0,0,0],[0,0,0],[1,0,0],[0,1,0],[0,0,1]] ) *  tf.transpose( [[0,0,0],[0,0,0],[0,0,0],[1,0,0],[0,1,0],[0,0,1]] )

它到目前为止有效，但我不喜欢这个解决方案。因为在我真正的问题中，我不仅要一次确定两个标签，而且还需要91，我必须重复91次以上的程序。

有没有人有解决方案，我如何获得所需的向量，softmax函数一次只应用于三个条目，而不写“相同”代码91次？

Answer 1

您可以应用tf.split函数来获得91个张量（每个类一个），然后将softmax应用于每个张量。

classes_split = tf.split(0, 91, all_in_one)

for c in classes_split:
    softmax_class = tf.nn.softmax(c)
    # use softmax_class to compute some loss, add it to overall loss

或者不是直接计算损失，你也可以将它们再次连接在一起：

classes_split = tf.split(0, 91, all_in_one)

# softmax each split individually
classes_split_softmaxed = [tf.nn.softmax(c) for c in classes_split]
# Concatenate again
all_in_one_softmaxed = tf.concat(0, classes_split_softmaxed)

如何通过在张量流中使用softmax-output层来并行确定多个标签（在神经网络中）？

1 个答案: