如何使用光流图像将后一帧扭曲到前一帧

Question

我只有两个图像，一个是当前帧，另一个是通过其他方式计算的光流图像。

目前的框架是：

光流图像是：

我的问题是如何使用这两个图像计算前一帧？

我已经看到了一个解决方案，只是使用双线性插值来将当前帧扭曲到最后一帧并使用光流图像。但我不知道该怎么做。

那么，有人可以给我一些建议或想法吗？非常感谢。

Answer 1

您正在寻找opencv函数remap。如果您有当前图像（currImg）和光流垫（flow），则可以通过先反转光流然后应用函数remap来预测先前的图像。在python中，代码如下：

import cv2
h, w = flow.shape[:2]
flow = -flow
flow[:,:,0] += np.arange(w)
flow[:,:,1] += np.arange(h)[:,np.newaxis]
prevImg = cv2.remap(curImg, flow, None, cv.INTER_LINEAR)