Question

此问题与Transformation between two set of points有关。 Hovewer这个更好指定，并添加了一些假设。

我有元素图像和一些模型。

我已经检测到两者的轮廓

contoursModel0, hierarchyModel = cv2.findContours(model.copy(), cv2.RETR_LIST,   
                                                  cv2.CHAIN_APPROX_SIMPLE);
contoursModel = [cv2.approxPolyDP(cnt, 2, True) for cnt in contoursModel0];    
contours0, hierarchy = cv2.findContours(canny.copy(), cv2.RETR_LIST,  
                                        cv2.CHAIN_APPROX_SIMPLE);
contours = [cv2.approxPolyDP(cnt, 2, True) for cnt in contours0];

然后我将每个轮廓相互匹配

modelMassCenters = [];
imageMassCenters = [];
for cnt in contours:
for cntModel in contoursModel:
    result = cv2.matchShapes(cnt, cntModel, cv2.cv.CV_CONTOURS_MATCH_I1, 0);
    if(result != 0):
        if(result < 0.05):
           #Here are matched contours
           momentsModel = cv2.moments(cntModel);
           momentsImage = cv2.moments(cnt);
           massCenterModel = (momentsModel['m10']/momentsModel['m00'],  
                              momentsModel['m01']/momentsModel['m00']); 
           massCenterImage = (momentsImage['m10']/momentsImage['m00'], 
                              momentsImage['m01']/momentsImage['m00']); 
           modelMassCenters.append(massCenterModel);
           imageMassCenters.append(massCenterImage);

匹配的轮廓就像是特征。

现在我想检测这两组点之间的转换。假设：元素是刚体，只有旋转，位移和尺度变化。

有些功能可能会被检测到如何消除它们。我曾经使用cv2.findHomography并且它需要两个向量并计算它们之间的单应性，即使有一些未命中的匹配。

cv2.getAffineTransformation只需要三分（无法应对不匹配），这里我有多个功能。我之前的问题中的答案说明了如何计算这种转换但不会出现错配。另外我认为可以从算法中返回一些质量等级（通过检查多少点未匹配，在计算出其余部分的转换后）

最后一个问题：我应该采用所有矢量点来计算变换还是仅将此形状的质心作为特征处理？

为了显示它，我添加了简单的图像。绿色的特征是红色坏匹配的良好匹配。这里的匹配应该从3个绿色的featrues计算，红色的不匹配应该影响匹配质量。

enter image description here

我正在添加我现在已经想到的解决方案片段（但我认为它可以做得更好）：

for i in range(0, len(modelMassCenters) - 1):
for j in range(i + 1, len(modelMassCenters) - 1  ):
    x1, y1 = modelMassCenters[i];
    x2, y2 = modelMassCenters [j];
    modelVec = (x2 - x1, y2 - y1);
    x1, y1 = imageMassCenters[i];
    x2, y2 = imageMassCenters[j];
    imageVec = (x2 - x1, y2 - y1);
    rotation = angle(modelVec,imageVec);
    rotations.append((i, j, rotation)); 
    scale = length(modelVec)/length(imageVec);
    scales.append((i, j,  scale));

在计算由每对相应线给出的比例和旋转之后，我将找到中值和平均旋转值，其与中值的差值不大于一些Δ。规模也一样。然后，将这些值用于计算的点将用于计算位移。

Answer 1

如果要素具有相似的形状，例如，您有几个类似大小的圆形轮廓，那么您的第二步（通过进行成对形状比较来匹配彼此的轮廓）听起来非常容易出错。然而，如果你只有一个象限中有5个圆形特征的刚体，如果你考虑整体的身体和它的特征，你可以得到非常稳健的仿射变换估计。因此，在匹配特征时，不要丢弃来自整个身体中心的特征范围和方向等信息。这些至少与关联各个轮廓的尺寸和形状等特征同样重要。

我会尝试像（未经测试的伪代码）：

"""
Convert from rectangular (x,y) to polar (r,w)
    r = sqrt(x^2 + y^2)
    w = arctan(y/x) = [-\pi,\pi]
"""
def polar(x, y):        # w in radians
    from math import hypot, atan2, pi
    return hypot(x, y), atan2(y, x)

model_features = []
model = params(model_body_contour)    # return tuple (center_x, center_y, area)
for contour in model_feature_contours:
    f = params(countour)
    range, angle = polar(f[0]-model[0], f[1]-model[1])
    model_features.append((angle, range, f[2]))

image_features = []
image = params(image_body_contour)
for contour in image_feature_contours:
    f = params(countour)
    range, angle = polar(f[0]-image[0], f[1]-image[1])
    image_features.append((angle, range, f[2]))

# sort image_features and model_features by angle, range
#
# correlate image_features against model_features across angle offsets
#    rotation = angle offset of max correlation
#    scale = average(model areas and ranges) / average(image areas and ranges)

如果您有非常具有挑战性的图像，例如6个等间距相似大小的特征，其中5个具有相同的形状，并且有一个不同（例如5个圆形和一个星形），您可以添加额外的参数，例如作为特征参数列表的偏心率和清晰度，并在搜索旋转角度时将它们包含在相关性中。

通过计算变换计算元素位置

1 个答案: