Python中使用OpenCV的matchTemplate方法进行2D互相关的奇怪结果

Question

在以下示例中，使用cv2.matchTemplate方法计算A，B阵列的互相关。结果存储在C数组中：

import cv2
import numpy as np
A=np.ones((3,3), dtype=np.uint8)
B=np.array([[1,2,3],[4,5,6],[7,8,9]], dtype=np.uint8)
C=cv2.matchTemplate( A, B, cv2.TM_CCORR )

>>> A
    array([[1, 1, 1],
           [1, 1, 1],
           [1, 1, 1]], dtype=uint8)
>>> B
    array([[1, 2, 3],
           [4, 5, 6],
           [7, 8, 9]], dtype=uint8)
>>> C
    array([[ 45.]], dtype=float32)

让我们使用 scipy ：

实现相同的示例

import cv2
import numpy as np
import scipy
import scipy.signal

A = np.ones((3,3), dtype=np.uint8)
B = np.array([[1,2,3],[4,5,6],[7,8,9]], dtype=np.uint8)
C = scipy.signal.correlate2d(A,B)

>>> C
array([[ 9, 17, 24, 15,  7],
       [15, 28, 39, 24, 11],
       [18, 33, 45, 27, 12],
       [ 9, 16, 21, 12,  5],
       [ 3,  5,  6,  3,  1]], dtype=uint8)

现在让我们使用 Octave ：

实现相同的示例

octave:4> A=ones(3,3)
A =

   1   1   1
   1   1   1
   1   1   1

octave:5> B=[1 2 3; 4 5 6; 7 8 9]
B =

   1   2   3
   4   5   6
   7   8   9

octave:6> C=xco
xcorr   xcorr2  xcov    
octave:6> C=xcorr2(A,B)
C =
    9   17   24   15    7
   15   28   39   24   11
   18   33   45   27   12
    9   16   21   12    5
    3    5    6    3    1

通过比较结果，我们可以看到opencv的方法产生了明显不同的结果。

有人可以解释2D互相关的各种实现之间的区别吗？

为了正确计算2D互相关，我应该更改为opencv代码？

谢谢大家，

芬克

Answer 1

嗯，首先我们需要参考OpenCV文档：

Matlab的/ OpenCV的

cv2.matchTemplate(image, templ, method[, result]) → result

• result - 比较结果图。它必须是单通道32位浮点。如果图片为W x H且templ为w x h，则结果为(W-w+1) x (H-h+1)。

使用3x3图像和3x3模板，您的结果将是(3-3+1)x(3-3+1) = (1x1)矩阵，这是该方法实际返回的内容。

TM_CCORR方法使用的公式如下：

现在让我们来看看这个与其他实现之间的区别。

SciPy的

scipy.signal.correlate2d(in1, in2, mode='full', boundary='fill', fillvalue=0)[source]

结果大小由mode参数决定。使用默认参数full表示结果大小为(W+w-1) x (H+h-1)。但是，将模式更改为valid将导致(W-w+1) x (H-h+1)结果，这与OpenCV实现的结果相同。

八度

C = xcorr2(A,B)

结果矩阵的大小为：

• C_rows = A_rows + B_rows - 1
• C_cols = A_cols + B_cols - 1

使用3x3图片和3x3模板，您的结果将是(3+3-1)x(3+3-1)=(5x5)矩阵。

此方法使用的公式与OpenCV使用的公式不同，但实际上只是同一方程的不同形式。

结论

所有三种实现中使用的公式看起来都是一样的。方法之间差异的原因是处理边界条件的方式。通过＆＃34;滑动＆＃34;实现互相关。图像矩阵上的模板矩阵，并将给定单元格的结果总和设置为图像和模板中重叠单元格的乘积之和。但是，对于图像中的边缘情况，除非模板是1x1矩阵，否则它将与图像边缘重叠（请参见下图中的示例）。可以通过填充或包装图像来处理这种情况。在第一种情况下，图像被放大并用零填充，以确保模板不会悬在图像上。

在SciPy和Octave中，默认方法是填充图像，这将生成大于输入图像的图像（实际上，在两个3x3矩阵的情况下，结果为5x5，因为模板悬于当以图像的边缘单元为中心时，图像总共2行2列。在OpenCV中，默认方法是删除模板挂在图像上的边缘情况，在这种情况下，模板的唯一有效位置正好位于图像中心的正中心。这解释了值为45的单个结果单元格：模板的所有元素之和乘以1。

回答你如何使用OpenCV的Matlab实现获得相同结果的问题：只需放大输入矩阵，使其大小为 (W+w-1) x (H+h-1)，将图像置于新矩阵的中心，并用0＆＃39;填充图像外的区域：

A=padarray(np.ones((3,3), dtype=np.uint8), [1, 1])