光流与关键点匹配:有什么区别?

时间:2014-07-15 15:58:48

标签: computer-vision augmented-reality opticalflow keypoint

我花了几个月的时间研究并进行关键点检测,描述和匹配过程的实验。在最后一个时期,我也谈到了增强现实背后的概念,恰恰是“无标记”识别和姿态估计。

幸运的是,我发现以前的概念仍然广泛用于此设置。创建基本增强现实的常见管道如下,没有详细介绍每个所需的算法:

  

在每一帧捕捉视频时......

     
      
  1. 获取一些关键点并创建描述符
  2.   
  3. 找出这些点与之前保存的“标记”(如照片)中的点之间的匹配
  4.   
  5. 如果匹配足够,估计可见对象的姿势并使用它
  6.   

也就是说,这是一个非常简化的程序,例如this student(?) project

现在的问题是:在我的个人研究中,我还发现了另一种称为“光流”的方法。我还处在研究的开始阶段,但首先我想知道它与之前的方法有多大不同。具体做法是:

  • 背后的主要概念是什么?它是否使用之前粗略描述的算法的“子集”?
  • 计算成本,性能,稳定性和准确性方面的主要差异是什么? (我知道这可能是一个过于笼统的问题)
  • 哪一项更多用于商业AR工具? (junaio,Layar,......)

感谢您的合作。

2 个答案:

答案 0 :(得分:6)

光流计算很慢,而最近检测速度的发展已经很多。增强现实商业解决方案需要实时性能。因此,很难应用基于光流技术(直到你使用一个好的GPU)。 AR系统主要使用基于特征的技术。大多数时候,他们的目标是了解场景的3D几何,可以通过一组点进行稳健估计。其他差异已被old-ufo提及。

答案 1 :(得分:5)

光流(OF)是围绕所谓的"亮度恒常假设"的方法。你假设像素 - 更具体,他们的强度(达到一些三角洲) - 没有变化,只是变化。你找到了这个等式的解决方案: I(x,y,t)= I(x + dx,y + dy,t + dt)。

Tailor系列的第一个订单是: I(x + dx,y + dy,t + dt)= I(x,y,t)+ I_x * dx + I_y * dy + I_t * dt。

然后你解决这个等式并得到每个像素的dx和dy - 移位。

光流主要用于trackingodometry

upd。:如果不应用于整个图像,但补丁,光流与Lucas-Kanade-Tomashi tracker几乎相同。

此方法与基于特征的方法之间的差异是密度。对于特征点,您通常只能获得特征点的位置差异,而光流估计整个图像的位置。

缺点是香草OF仅适用于小位移。为了处理较大的图像,可以缩小图像并在其上计算OF - "粗到细"方法

可以改变亮度恒定假设" to,即"描述符常数假设"并使用描述符值而不是原始强度来求解相同的等式。 SIFT flow就是一个例子。

不幸的是,我对增强现实商业解决方案了解不多,无法回答最后一个问题。