ConvLSTM2D图层的应用

Question

我在github上查看了一些代码，注意到ConvLSTM2D中有一个名为Keras的图层。 Keras文档指出It is similar to an LSTM layer, but the input transformations and recurrent transformations are both convolutional.。

我想知道这一层的实际应用是什么。我熟悉NLP，但我还没有看到这个图层被使用过。

机器学习/深度学习的哪个领域使用此层。

Answer 1

ConvLSTM2D Layer用于解决时空问题的计算机视觉问题，即您想要提取空间特征以及及时的相关性。  请参阅ConvLSTM论文

"Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting"

它解释了完全连接的LSTM可以捕获时间相关性但不编码空间数据。这就是为什么他们提出一个模型，其中状态和状态到状态转换的输入是卷积的

我可以找到一些文章，其中ConvLSTM是自然视频序列预测，手势识别和视频分类模型的一部分，即基本上我们想要学习空间和时间数据

Answer 2

正如用户239457所说的那样，它用于提取依赖于时间和空间的要素（实际上，他引用了其中首次提出ConvLSTM层的文章）。

那么，我们每天使用哪种与时间和空间相关的信息？是的，您猜对了：视频。

从这个意义上讲，深度学习还有其他领域使用该层：

• 对象跟踪：您要在其中预测移动目标轨迹的图像序列，即从图像到边界框
• 视频中的对象细分：与以前相同，但具有细分（更困难）
• 活动识别：您要在其中生成视频字幕的图像序列（描述正在发生的事情的句子）

如果对此感到好奇，可以使用轻量级数据集来学习对象跟踪的基础知识：Moving MNIST