在编写keras模型时,我尝试添加注意力加权功能(如研究“使用Polygon-RNN ++的细分数据集的高效交互式注释”,arxiv:https://arxiv.org/pdf/1803.09693.pdf中所述)。作为关注的最后一步,它需要连接先前的顶点(在时间步骤t-1和t-2处输出)。我试图通过return_sequence = True和return_state = True获得输出;
convlstm1, state_h_1, state_c_1 = ConvLSTM2D(filters=64, kernel_size=(3, 3),
input_shape=(-1, 28, 28, 128),
padding='same', return_sequences=True, return_state=True, name = "convlstm1")(X)
但是,我不知道如何从那里继续。我尝试了convlstm[-1]
,尽管我认为它将产生第一个卷积LSTM输出,但不是关于时间步t的。
此外,如何在时间步t将关注加权特征加回到ConvLSTM的输入中?还是应该定制整个ConvLSTM?