Question

我试图通过沿着图像移动模板来将模板与二进制图像（仅黑色和白色）匹配。并返回模板和图像之间的最小距离，以及发生此最小距离的相应位置。例如：

IMG：

0 1 0
0 0 1
0 1 1

模板：

0 1
1 1

此模板匹配位置（1,1）处的最佳图像，距离将为0.到目前为止，事情并不太困难，而且我已经有了一些可以解决问题的代码。

def match_template(img, template):
    mindist = float('inf')
    idx = (-1,-1)
    for y in xrange(img.shape[1]-template.shape[1]+1):
        for x in xrange(img.shape[0]-template.shape[0]+1):
        #calculate Euclidean distance
        dist = np.sqrt(np.sum(np.square(template - img[x:x+template.shape[0],y:y+template.shape[1]])))
        if dist < mindist:
            mindist = dist
            idx = (x,y)
    return [mindist, idx]

但是对于我需要的尺寸的图像（500 x 200像素和250 x 100之间的模板）这已经花了大约4.5秒，这太慢了。而且我知道使用矩阵乘法可以更快地完成同样的事情（在matlab中我相信这可以使用im2col和repmat完成）。任何人都可以解释我如何在python / numpy中做到这一点吗？

顺便说一句。我知道有一个opencv matchTemplate函数可以完全满足我的需要，但由于我可能需要稍后更改代码，我宁愿选择一个我完全理解并可以改变的解决方案。

谢谢！

编辑：如果有人能够在不到0.2秒的时间内解释我opencv如何做到这一点也很棒。我已经对源代码进行了简短的介绍，但这些东西对我来说总是看起来很复杂。

edit2：Cython代码

import numpy as np
cimport numpy as np

DTYPE = np.int
ctypedef np.int_t DTYPE_t

def match_template(np.ndarray img, np.ndarray template):
    cdef float mindist = float('inf')
    cdef int x_coord = -1
    cdef int y_coord = -1
    cdef float dist
    cdef unsigned int x, y
    cdef int img_width = img.shape[0]
    cdef int img_height = img.shape[1]
    cdef int template_width = template.shape[0]
    cdef int template_height = template.shape[1]
    cdef int range_x = img_width-template_width+1
    cdef int range_y = img_height-template_height+1
    for y from 0 <= y < range_y:
        for x from 0 <= x < range_x:
            dist = np.sqrt(np.sum(np.square(template - img[ x:<unsigned int>(x+template_width), y:<unsigned int>(y+template_height) ]))) #calculate euclidean distance
            if dist < mindist:
                mindist = dist
                x_coord = x
                y_coord = y
    return [mindist, (x_coord,y_coord)]

img = np.asarray(img, dtype=DTYPE)
template = np.asarray(template, dtype=DTYPE)
match_template(img, template)

Answer 1

一种可能的做法是通过卷积（可以是强力或FFT）。矩阵乘法AFAIK不起作用。您需要使用模板卷积数据。并找到最大值（您还需要进行一些缩放以使其正常工作）。

xs=np.array([[0,1,0],[0,0,1],[0,1,1]])*1.
ys=np.array([[0,1],[1,1]])*1.
print scipy.ndimage.convolve(xs,ys,mode='constant',cval=np.inf)
>>> array([[  1.,   1.,  inf],
       [  0.,   2.,  inf],
       [ inf,  inf,  inf]])

print scipy.signal.fftconvolve(xs,ys,mode='valid') 
>>> array([[ 1.,  1.],
           [ 0.,  2.]])

Answer 2

使用纯粹的numpy / scipy魔法可能有一种奇特的方式来完成这项工作。但是，当你看到未来的代码时，可能会更容易（并且更容易理解）只需要进入Cython就可以完成这项任务。有一个很好的教程可以将Cython与numpy集成在http://docs.cython.org/src/tutorial/numpy.html。

编辑：我使用你的Cython代码进行了快速测试，对于500x400 img和100x200模板，它运行了大约15秒。经过一些调整（消除了numpy方法调用和numpy bounds检查），我在3秒内完成了调整。这对你来说可能还不够，但它显示了这种可能性。

import numpy as np
cimport numpy as np
cimport cython
from libc.math cimport sqrt

DTYPE = np.int
ctypedef np.int_t DTYPE_t

@cython.boundscheck(False)
def match_template(np.ndarray[DTYPE_t, ndim=2] img, np.ndarray[DTYPE_t, ndim=2] template):
    cdef float mindist = float('inf')
    cdef int x_coord = -1
    cdef int y_coord = -1
    cdef float dist
    cdef unsigned int x, y
    cdef int img_width = img.shape[0]
    cdef int img_height = img.shape[1]
    cdef int template_width = template.shape[0]
    cdef int template_height = template.shape[1]
    cdef int range_x = img_width-template_width+1
    cdef int range_y = img_height-template_height+1
    cdef DTYPE_t total
    cdef int delta
    cdef unsigned int j, k, j_plus, k_plus
    for y from 0 <= y < range_y:
        for x from 0 <= x < range_x:
            #dist = np.sqrt(np.sum(np.square(template - img[ x:<unsigned int>(x+template_width), y:<unsigned int>(y+template_height) ]))) #calculate euclidean distance
            # Do the same operations, but in plain C
            total = 0
            for j from 0 <= j < template_width:
                j_plus = <unsigned int>x + j
                for k from 0 <= k < template_height:
                    k_plus = <unsigned int>y + k
                    delta = template[j, k] - img[j_plus, k_plus]
                    total += delta*delta
            dist = sqrt(total)
            if dist < mindist:
                mindist = dist
                x_coord = x
                y_coord = y
    return [mindist, (x_coord,y_coord)]

使用矩阵乘法的numpy模板匹配

2 个答案: