潜在空间图像插值

时间:2018-08-29 15:30:10

标签: image interpolation encoder decoder

有人可以告诉我如何实现这种插值效果吗(或名称,以便我查找)? https://www.youtube.com/watch?v=36lE9tV9vm0&t=3010s&frags=pl%2Cwn

我尝试在每次迭代中使用r = r + dr,g = g + dr和b = b + db作为RGB值,但是与视频效果相比,它看起来太简单了。

3 个答案:

答案 0 :(得分:1)

在另一个视频中找到它,称为“潜在空间插值”,必须将其应用于压缩图像。如果我有图像A,下一个图像是图像B,则我必须先对A和B进行编码,对编码数据使用插值,最后对所得图像进行解码。

答案 1 :(得分:1)

  

“有人可以告诉我如何实现这种插值效果吗?
  (或它的名称,以便我查找)...

它实际上不是命名的插值效果。它似乎是要插入的,但实际上只是一些虚构的面部“特征”(头发,眼睛,鼻子等的合成像素采用提示< / em>(可能包含匹配特征类型的库/数据库)。

对于这项技术,他们使用神经网络进行类似于 DFT图像重建的过程。您将在 Frequency 域(使用u,v)而不是 Time 域(使用x,y)中修改图像数据。

您可以通过以下PDF阅读有关内容:
https://research.nvidia.com/sites/default/files/pubs/2017-10_Progressive-Growing-of/karras2018iclr-paper.pdf

(Python)源代码:
https://github.com/tkarras/progressive_growing_of_gans

有关想法,您可以在Youtube上查找:

  • DFT image reconstruction(有一个很好的例子,分阶段重建了黑白Nicholas Cage照片。大声的音乐警告)。

  • 具有神经网络的
  • Image Synthesis(其中一个剪辑具有用于鞋和手袋设计的盐化设计(项目照片),由NN在分析了其他现有目录照片中的特征作为“灵感”后“合成”。

  • Image Enhancement Super Resolution using neural networks这种方法最接近回答您的问题。一个示例具有非常低分辨率的黑白模糊像素化图像。无法分辨是男孩还是女孩。在测试期间,网络会合成各种认为与测试输入正确匹配的高质量面部图像。

了解了它们的实现方式之后,您可以想到无需网络即可获得类似效果的快捷方式,例如:仅使用常规像素编辑功能。

答案 2 :(得分:0)

到目前为止,我发现对于3d图像数据可以轻松实现这种插值效果。就是说,如果图像数据以标准化且以3d原点为中心的方式可用,例如在原点周围的单位球体中可用,并且每个人脸图像的数据都在该单位球体内。以这种方式存储两个图像的数据后,可以通过以某种所需的分辨率获取通过原点中心和通过球体每个区域的光线的差来计算插值。