如何在播放时以编程方式逼真地修改视频片段？

Question

不久前，我在德国公司的网站上看到了一系列有趣的视频演示。他们处理在播放时修改视频流，我对这种技术的准确性和流畅性印象深刻。在所有这些演示中，我认为one of them在动态播放视频中的文本混合方面非常吸引人。它允许您在视频播放时在文本框中键入字符串，并嵌入您使用视频编写的文本的变换变体，具有逼真的准确性。我的问题是，如果你碰巧知道这种功能需要什么样的算法，我怎么能以编程方式在视频流中嵌入实时文本和图像？是否有任何研究论文或图书馆需要了解详情？

PS。不要因为视频内容而激怒我，这是我感兴趣的编程技术，视频是我能找到的最好的例子。

Answer 1

它被称为增强现实，并且有许多库和工具包可用于这样做，例如artoolkit http://www.hitl.washington.edu/artoolkit/

Answer 2

要做到这一点，你只需要在渲染之前对帧进行调解。

基本上：

1. 阅读框架
2. 修改框架
3. 渲染

实际上没有算法可以做到这一点。

Answer 3

好的，所以我实际看了你的例子。由于这是预先录制的视频，因此他们可以用手将四个角的一个角描绘到目标表面上。然后进行渲染，您只需对文本进行透视变换，即可进行目标矩形。使它融合可能只是选择好的颜色，分层，颜色变换和透明度的艺术。这里没什么特别神奇的，只是标准的Photoshop风格的图形算法，其中大部分都可能只是内置于闪存中。