结合两个嵌入式输入以提高LSTM模型的性能

Question

我在这里遇到的情况是我有两个输入（例如，图像嵌入等）进入一系列lstms的第一个lstm来预测生成句子的下一个单词（从第二个lstm开始，它开始预测当前输入词的下一个单词）。两个输入中的每一个的尺寸是512。 仅仅对于第一次输入，它将测量（例如，困惑）增加了大约3，而根本没有输入。 仅仅对于第二输入，它将测量（例如，困惑）从没有输入增加大约1。 问题是：是否有可能将这两个输入组合成一个模型，该模型可以产生超过3的增加结果或者前两个输入模型的增加量更大？如果是，如何构建模型或我应该构建什么模型来组合它们呢？

Answer 1

您可以将两个输入连接成1，以获得大小为1024的输入并稍微增加lstm大小-这样，您的NN应该能够从两个输入中提取信息，并可能构建两个输入的组合！