我们是否需要Kanade-Lucas-Tomasi跟踪器中的计算机光流？

Question

我正在尝试了解Kanade-Lucas-Tomasi跟踪器。 这是我应该如何做的概述（我从一些讲座中读到）：

1. Find harris corners 
2. For each corner compute displacement to next frame
using the Lucas-Kanade method
3. Store displacement of each corner, update corner position
4. (optional) Add more corner points every M frames using 1
5. Repeat 2 to 3 (4)
6. Returns long trajectories for each corner point

我对此的疑问是，我们是否需要在某一点计算光流量，或者只是位移矢量足以执行算法？ 如果否，那么为什么光流会处理这个主题？

Answer 1

Kanade-Lucas-Tomasi跟踪器与光流有关，因为位移矢量是光流向量，但是在稀疏意义上而不是密集的光流场。这是因为跟踪器基于Lucas Kanade方法估计位移矢量。 Lucas Kanade方法基于强度常数假设，该假设通过一阶泰勒近似求解，该近似称为光流方程，由Horn和Schunk发明。 Lucas Kanade方法被归类为局部光流方法，而目前大多数光流方法是产生密集运动场的全局方法。

Answer 2

位移矢量是角位置处的（密集）光流的一个样本。顺便说一句，虽然哈里斯角通常是初始化搜索的好位置，严格来说你需要一个较弱的探测器，参见Shi＆amp; Tomasi的经典＆＃34;良好的功能跟踪＆＃34; paper

Answer 3

不是最准确或最有用的KLT描述。更好：

1. 找到要跟踪的功能（例如角落）
2. 对于每个特征，计算到下一帧的位移 使用Lucas-Kanade方法
3. 存储所跟踪功能的轨迹
4. （可选）随着时间的推移添加和删除功能
5. 返回每个功能的轨迹

虽然@Tobias的最正确答案在技术上没有错，但却忽略了非常重要的事实：

Lucas-Kanade方法不限于估计位移。实际上，在KLT跟踪器中使用LK几乎假定您至少在位移之上进行了旋转和缩放变形。对于许多应用，完整的仿射解决方案是有益的。这意味着您要求解6个参数，而不仅要求解位移（u，v）的2个参数。