推荐的深度学习模型以完成序列

Question

我正在尝试解决序列完成的问题。假设我们有地面真相序列（1,2,4,7,6,8,10,12,18,20）

模型输入的序列不完整。即（1,2,4，_，_，_，10,12,18,20）。从这个不完整的序列，我们想预测原始序列（Ground Truth序列）。哪些深度学习模型可以用来解决这个问题？

这是编码器-解码器LSTM体系结构的问题吗？

注意：我们有数千个完整的序列来训练和测试模型。

感谢您的帮助。

Answer 1

这不是精确的序列间问题，这是序列标记问题。我建议要么堆叠双向LSTM层，然后再分类器，要么堆叠Transformer层，然后再分类器。

编码器-解码器体系结构需要大量数据才能正确训练，并且如果目标序列可以是任意长度（仅模糊地取决于源序列长度），则特别有用。最终它将学会足够多地完成这项工作，但是序列标记是一个更直接的问题。

使用序列标签，您可以在输出上设置自定义掩码，因此模型将仅预测缺失的数字。编码器-解码器模型将需要学习首先复制大部分输入。

Answer 2

在序列完成任务中，您是要预测序列中的下一项还是只学习缺失值？ 训练缺少数据的神经网络本身就是一个问题。 如果您使用Keras和LSTM型NN解决问题，则应考虑屏蔽，您可以参考以下stackoverflow线程以获取更多详细信息：Multivariate LSTM with missing values 关于预测缺失值，为什么不尝试使用自动编码器？