Question

我想为视频帧预测训练Keras DNN：

输入：4个连续的视频帧
输出：下一帧，从网络预测

因此，基本上，尺寸为：input：（number_samples，4,60,60），output：（number_samples，1,60,60）。 我需要一些帮助，从输入中的4帧到输出中的1帧。

我找到an example here并希望与之合作。

问题是，在该网络中，输出不是一帧，而是与输入相同的帧数。（所以我的任务实际上更简单，因为我只想生成一个下一帧，而不是4）。 现在我不知道，我可以在网络末尾添加哪些图层或者我如何更改网络，因此输出尺寸符合要求。（一帧而不是4帧）。

最后添加Conv2D图层不起作用，因为它与Conv3D的尺寸不匹配。

关于如何处理该问题以及我的网络架构如何形成的任何想法？对我的任务提出任何建议以及如何为此建立一个良好的网络也值得赞赏。

Answer 1

可以对代码示例中的此循环（您为其提供了URL）进行定制，以完成所需的工作。

for j in range(16):
    new_pos = seq.predict(track[np.newaxis, ::, ::, ::, ::])
    new = new_pos[::, -1, ::, ::, ::]
track = np.concatenate((track, new), axis=0)

Keras视频帧预测具有较低的输出维度，然后输入维度

1 个答案: