用keras进行图像序列预测

Question

我最近和keras很开心，我想知道如何解决这个问题。

我有一系列100张图片。它们是雷达地图的每日图像，连续100天。我想预测第二天的图像。

这些图像可以解释为n x m维（不是正方形）的矩阵。

这可以适应lstm nn吗？你会如何解决这个问题？

感谢分享想法！

Answer 1

这个问题已经与生成性逆境网络（GAN）和具有相当程度成功的RNN一起解决。

Facebook AI Research here引入的一种使用GAN的相当成功的方法使用了多尺度生成器。基本上，您以不同的比例对图像进行采样，然后预测该特定较低分辨率的下一帧。然后使用上采样预测帧和下一个更高分辨率的原始帧，您可以预测该更高比例的下一帧，并继续该过程。多尺度聚合有助于防止模糊并保留细节。您可以找到代码here

最近的方法使用自动编码器和GAN的组合，基本上变分编码器将整个视频流循环压缩到潜在空间，并且您有不同的网络来预测流和来自潜在空间表示的下一帧。然后它将下一帧与预测流量的信息融合在一起。您可以阅读论文here了解详情。

康奈尔的另一种方法，没有GAN这样做。它相当复杂，但简单来说它们使用Stacked LSTM，并将错误信号传播到更多的LSTM层，然后它们的工作就是预测下一帧的错误。这是paper

还有其他方法，但这些方法似乎被广泛引用，并且可以在线获取代码。