如何在使用tf.nn.softmax计算softmax期间避免填充索引？

Question

我有一个矩阵，每行填充到maxlen。如果我在矩阵上应用softmax，也会考虑填充索引。如何在仅考虑非填充指数的情况下在矩阵上应用softmax？

注意：矩阵每行的填充长度会有所不同。

Answer 1

您可以将填充的单元格设置为接近-Infinity的值（即与其他logit相比非常小），以便它们的贡献可以忽略不计。