如何在前馈过程中处理填充0

Question

假设我有一个不同大小的输入列表，例如，有些是形状[10,9,5]，有些是[7,6,5]，我必须用0填充它们以进入张量流具有相同的大小，比如说[10,9,5]，我需要进行矩阵乘法并在正向过程中添加偏差，这将在填充的0位置引入数字。所以我必须自己创建一个掩码矩阵来掩盖它们？或者，从tensorflow有更简单的方法吗？谢谢！

顺便说一句，我不是在喂食序列也不是使用rnn。所以我不能使用动态rnn

Answer 1

我认为您可以使用attention mechanism将可变长度输入转换为某个固定长度张量，然后再将它们送入前馈网络。