opencv - 计算单个平面上多个标记的单应性

我喜欢通过使用遍布场景的多个标记图像来获得估计单应性的更高精度的想法。

这种方法可以使用非线性优化来实现。但这有点棘手。

假设，模型，数据

让我们以3个打印标记图像放在桌子上的例子为例，假设你所有的假设都存在。

现在让我们假设您已经找到3个打印的标记图像中的每一个N 点对应。

此处的点对应表示对于打印的标记图像，您可以将N图像像素位置与相应的N 真实世界位置相关联 {{ 1}}以厘米（或其他单位）相对于已知的真实世界＆＃34;打印的标记坐标系＆＃34; （例如，坐标(x,y)位于标记图像的中心）。

问题在于打印标记坐标系＆＃34;对于每个打印的标记图像仅在本地已知。我们需要的是将这些坐标系统结合在一起并找到一种表达打印标记坐标系的方法。在单个全球坐标系中的位置。所以我们需要弄清楚它们之间的关系。

每个标记的单应性之间的关系

我们想要计算使用来自不同打印标记图像的所有对应数据的单应性。因此，了解它们与每种方法的关系非常重要。具体来说，我们希望找到所有标记图像的公共坐标系，以便制定优化问题。

现在，基于点对应，并使用传统方法，计算3个单应性：

(0,0)地图＆＃34;打印标记坐标系＆＃34;标记图像＃1到图像像素坐标的位置
H1地图＆＃34;打印标记坐标系＆＃34;标记图像＃2到图像像素坐标的位置
H2地图＆＃34;打印标记坐标系＆＃34;标记图像＃3到图像像素坐标的位置

让我们假设不存在测量和计算错误（只是假设）。然后，单应性仅在各个＆＃34;打印标记坐标系的旋转 $\varphi$ 和平移 $(t_x,t_y)$ 上不同。

然后，以下等式成立：

$H_1 &= H_2 \cdot A(\varphi^{(2)}, t_{x}^{(2)}, t_{y}^{(2)})$

$H_1 &= H_3 \cdot A(\varphi^{(3)}, t_{x}^{(3)}, t_{y}^{(3)})$

旋转和平移定义如下：

$A(\varphi, t_x, t_y) := \begin{pmatrix}\cos(\varphi)&-\sin(\varphi)&t_x\\\sin(\varphi)&\cos(\varphi)&t_y\\0&0&1\end{pmatrix}$

把所有东西放在一起

这意味着H1等于H2＆＃34;直到＆＃34;旋转 $\varphi$ 和翻译 $(t_x^{(2)},t_y^{(2)})$ 和H1等于H3＆＃34;直到＆＃34;轮换 $\varphi$ 和翻译 $(t_x^{(3)},t_y^{(3)})$ 。

这为我们提供了一种方法，用于将标记图像＃2的位置转换为标记图像＃1的坐标系（标记图像＃3的位置的情况可以类似地处理）：

$\begin{pmatrix}x^{(1)}\\y^{(1)} \end{pmatrix}:=\begin{pmatrix}\cos(\varphi^{(2)})&-\sin(\varphi^{(2)})\\\sin(\varphi^{(2)})&\cos(\varphi^{(2)})\\ \end{pmatrix}\cdot\begin{pmatrix}x^{(2)}\\y^{(2)} \end{pmatrix} + \begin{pmatrix}t_x^{(2)}\\t_y^{(2)} \end{pmatrix}$

现在，在现实世界的情景中，这些方程式只能保持近似。但是，它们给出了估算任何一对打印标记图像之间的旋转和平移的动机：

$H_2^{-1}H_1\approx \begin{pmatrix}\cos(\varphi^{(2)})&-\sin(\varphi^{(2)})&t_x^{(2)}\\\sin(\varphi^{(2)})&\cos(\varphi^{(2)})&t_y^{(2)}\\0&0&1\end{pmatrix}$

$H_3^{-1}H_1\approx \begin{pmatrix}\cos(\varphi^{(3)})&-\sin(\varphi^{(3)})&t_x^{(3)}\\\sin(\varphi^{(3)})&\cos(\varphi^{(3)})&t_y^{(3)}\\0&0&1\end{pmatrix}$

现在，使用atan2，我们可以找到六个辅助变量 $(\varphi^{(2)},t_x^{(2)},t_y^{(2)},\varphi^{(3)},t_x^{(3)},t_y^{(3)})$ 的估计值，它们描述了打印的标记图像＃2和＃3相对于＃1的位置。

这就是我们准备开始值和模型来制定非线性优化问题所需的一切。

非线性优化问题

最终目标是找到单应矩阵H3的8个系数，它们同时使用所有打印标记图像的所有点对应关系：

$H=\begin{pmatrix}h_{11}&h_{12}&h_{23}\\h_{21}&h_{22}&h_{23}\\h_{31}&h_{32}&1 \end{pmatrix}$

使用上述模型，我们可以定义一个非线性方程组。它会有H未知数：

8个单应系数
6个辅助变量 $(\varphi^{(2)},t_x^{(2)},t_y^{(2)},\varphi^{(3)},t_x^{(3)},t_y^{(3)})$ ，用于描述标记图像＃2和＃3的对应关系如何映射到标记图像＃1坐标系

使用3个标记图像的8 + 6点对应关系，得到N方程。这意味着，我们需要N*3*2 = N*6点对应，以便获得比未知数更多的方程。有趣的是，在多标记图像场景的情况下，每个标记图像的最小N>=3对应关系小于单个标记图像场景的最小N=3。

此时我不会更详细地添加非线性优化问题的表述，因为已经解释了如何解决问题的一般概念。

为了解决非线性优化问题，例如可以使用Newton’s method。

备注

上述方程中的所有矩阵都需要按如下方式进行归一化：

$H=\begin{pmatrix}\ast&\ast&\ast\\\ast&\ast&\ast\\\ast&\ast&1 \end{pmatrix}$

单应性模型假定您的标记在平面上。这不是您可以添加的其他信息。如果你的标记不是和一个平面，那么该功能根本不起作用。

如果您的标记都在图像平面中，即所有图像都是顶视图图像，那么您可以使用仿射模型（或更低）而不是单应性。你的问题不清楚是否是这种情况。

如果所有标记始终位于同一平面上，则可以同时计算所有标记的平面单应性。结果应该在数值上更稳定，您拥有的点越多，它们越过图像。它应该比独立计算每个标记的单应性更准确。

问题是您的对应点是什么 - 您还需要知道图像中标记的相对位置。
如果使用相同的参考标记图像，计算很可能会失败。

计算单个平面上多个标记的单应性

2 个答案:

假设，模型，数据

每个标记的单应性之间的关系

把所有东西放在一起

非线性优化问题

备注