如何在张量流中使用不同张量的立体图像翘曲？

Question

我试图在tensorflow中进行立体图像变形。

如果我离开了图像L（x，y）和视差图d（x，y）， 我可以左移图像L＆＃39;（x-d（x，y），y）

我希望使用张量（左图像和显示）

进行此操作

但是tensorflow不支持项目分配...

是否存在张量流的像素映射算法？

Answer 1

有两篇CVPR论文（我知道）：

• 具有左右一致性的无监督单眼深度估计
• 无监督学习视频中的深度和自我运动

https://github.com/mrharicot/monodepth https://github.com/tinghuiz/SfMLearner

正在进行这种计算。

他们都有“双线性采样器”功能： https://github.com/tinghuiz/SfMLearner/blob/master/utils.py#L197 https://github.com/mrharicot/monodepth/blob/master/bilinear_sampler.py

请注意，代码太长，无法在此处发布，但这个想法非常简单。使用meshgrid创建一个标识映射，添加网络残差位移，重新整形为[n，2]双线性插值。这可以直接在TensorFlow中完成。前两个链接指向一些TensorFlow代码正是这样做的。

因为只是指向GitHub存储库，所有人都渴望得到这个答案，请告诉我是否需要复制粘贴这些实现。但是之前看看LOC。