Question

我一直在尝试将扫描的公式与空模板匹配。目标是旋转和缩放它以匹配模板。

Source (left), template (right)

Match (left), Homography warp (right)
模板不包含任何非常具体的徽标，固定十字或矩形框，这些徽标可以方便地帮助我进行功能或图案匹配。更糟糕的是，扫描过的配方师可能会倾斜，更改并且包含手写签名和图章。

在未成功测试ORB特征匹配之后，我的方法是专注于公式的形状（线和列）。

我在这里提供的图片是通过在具有特定最小尺寸的线段检测（LSD）之后重构线条而获得的。对于源代码和模板，剩下的大部分就是文档布局本身。

在下面的脚本中（应该与图片一起使用），我尝试进行ORB功能匹配，但是由于它专注于边缘而不是文档布局，因此无法使其起作用。

import cv2  # using opencv-python v3.4
import numpy as np
from imutils import resize


# alining image using ORB descriptors, then homography warp
def align_images(im1, im2,MAX_MATCHES=5000,GOOD_MATCH_PERCENT = 0.15):

    # Detect ORB features and compute descriptors.
    orb = cv2.ORB_create(MAX_MATCHES)
    keypoints1, descriptors1 = orb.detectAndCompute(im1, None)
    keypoints2, descriptors2 = orb.detectAndCompute(im2, None)

    # Match features.
    matcher = cv2.DescriptorMatcher_create(cv2.DESCRIPTOR_MATCHER_BRUTEFORCE_HAMMING)
    matches = matcher.match(descriptors1, descriptors2, None)

    # Sort matches by score
    matches.sort(key=lambda x: x.distance, reverse=False)

    # Remove not so good matches
    numGoodMatches = int(len(matches) * GOOD_MATCH_PERCENT)
    matches = matches[:numGoodMatches]

    # Draw top matches
    imMatches = cv2.drawMatches(im1, keypoints1, im2, keypoints2, matches, None)

    # Extract location of good matches
    points1 = np.zeros((len(matches), 2), dtype=np.float32)
    points2 = np.zeros((len(matches), 2), dtype=np.float32)

    for i, match in enumerate(matches):
        points1[i, :] = keypoints1[match.queryIdx].pt
        points2[i, :] = keypoints2[match.trainIdx].pt

    # Find homography
    h, mask = cv2.findHomography(points1, points2, cv2.RANSAC)

    # Use homography
    if len(im2.shape) == 2:
        height, width = im2.shape
    else:
        height, width, channels = im2.shape
    im1Reg = cv2.warpPerspective(im1, h, (width, height))

    return im1Reg, h, imMatches

template_fn = './stack/template.jpg'
image_fn = './stack/image.jpg'

im = cv2.imread(image_fn, cv2.IMREAD_GRAYSCALE)
template = cv2.imread(template_fn, cv2.IMREAD_GRAYSCALE)

# aligh images
imReg, h, matches = align_images(template,im)

# display output
cv2.imshow('im',im)
cv2.imshow('template',template)
cv2.imshow('matches',matches)
cv2.imshow('result',imReg)
cv2.waitKey(0)
cv2.destroyAllWindows()

有什么方法可以使模式匹配算法在左侧图像上起作用（源）？（另一个想法是只留下直线相交点）

或者，我一直在尝试对循环进行缩放和旋转不变模式匹配，同时保持最大相关性，但这太浪费资源了，不太可靠。

因此，我正在使用opencv寻找正确方向的提示。

Answer 1

解决方案

问题在于将图像缩小到真正重要的位置：布局。
另外，ORB不适合，因为它不像SIFT和AKAZE那样健壮（旋转和大小不变）。

我进行如下操作：

将图像转换为黑白
使用线段检测和过滤宽度小于宽度的1/60的线
从片段中重建图像（线条宽度没有太大影响）
（可选：调整图片大小以加快其余部分的速度）
将高斯变换应用于宽度的1/25的线重构
使用SIFT（专利）或AKAZE（免费）算法检测和匹配特征
找到单应性并扭曲源图片以匹配模板

匹配AKAZE

符合SIFT的

我注意到：

模板的布局必须匹配，否则模板将仅坚持其识别的范围
以更高的分辨率更好地进行行检测，然后可以缩小尺寸，因为应用了高斯
SIFT具有更多功能，而且似乎比AKAZE更可靠

opencv功能与空公式模板匹配

1 个答案: