cv2.perspectiveTransform（）不接受单应矩阵

Question

下面是bookhomography-example-1.jpg，然后bookhomography-example-2.jpg来自popular OpenCV blogpost关于单应性。

我可以进行单应性并扭曲图像，但当我尝试使用h或h[0]时，cv2.perspectiveTransform(pts, h)或cv2.perspectiveTransform(pts, h[0])不起作用。我也尝试将2D数组h[0]转换为元组元组，但没有变化。它可能很简单，但我无法弄清楚。

  

错误讯息：

     

追踪（最近一次呼叫最后一次）：

     

文件＆＃34; bookhomography stackexchange v00.py＆＃34;，第36行，在T_dst   = cv2.perspectiveTransform（pts_dst，h）TypeError：m不是数字元组

注意：将False设置为True以导致失败。两条变换线中的一条是错误的方向但都失败了。

import numpy as np
import matplotlib.pyplot as plt
import cv2

im_src = cv2.imread("bookhomography-example-2.jpg")
im_dst = cv2.imread("bookhomography-example-1.jpg")

im_srcrgb = cv2.cvtColor(im_src, cv2.COLOR_BGR2RGB)
im_dstrgb = cv2.cvtColor(im_dst, cv2.COLOR_BGR2RGB)

pts_src = np.float32([52, 376, 240, 528, 413, 291, 217, 266]).reshape(4, -1)
pts_dst = np.float32([56, 478, 387, 497, 376, 124, 148, 218]).reshape(4, -1)

h       = cv2.findHomography(pts_src, pts_dst)

print "type(h): ", type(h)
print "len(h): ", len(h)

print "type(h[0]): ", type(h[0])
print "len(h[0]): ", len(h[0])
print "h[0].shape: ", h[0].shape

shape   = im_src.shape[:2][::-1]

print h[0]

print "pts_src:"
print pts_src

print "pts_dst:"
print pts_dst

if False:
    T_dst = cv2.perspectiveTransform(pts_dst, h)
    T_src = cv2.perspectiveTransform(pts_src, h)

    print "T_src:"
    print T_src

    print "T_dst:"
    print T_dst

im_fin  = cv2.warpPerspective(im_src, h[0], shape)
im_finrgb  = cv2.cvtColor(im_fin, cv2.COLOR_BGR2RGB)

plt.figure()
plt.subplot(1, 3, 1)
plt.imshow(im_srcrgb)
x, y = pts_src.T
plt.plot(x, y, 'or', ms=8)
plt.subplot(1, 3, 2)
plt.imshow(im_dstrgb)
x, y = pts_dst.T
plt.plot(x, y, 'or', ms=8)
plt.subplot(1, 3, 3)
plt.imshow(im_finrgb)
x, y = pts_dst.T
plt.plot(x, y, 'or', ms=8)
plt.show()

Answer 1

有关快速解决方法，请参阅我的回答here。 TL：DR; OpenCV函数perspectiveTransform()获取以奇数格式指定的点，而findHomography()使用您拥有的格式。

首先请注意，findHomography()会返回两个值;单应矩阵和mask。来自docs：

  

cv2.findHomography(srcPoints, dstPoints[, method[, ransacReprojThreshold[, mask]]]) → retval, mask

第二个返回值不是单应性，因此应该使用h[0]。或者你可以写：

h, mask = cv2.findHomography(srcPoints, dstPoints)

或

h = cv2.findHomography(srcPoints, dstPoints)[0]

以便h 仅保留单应性以减少混淆。请注意，您使用h或h[0]指定了不同的错误消息：

使用h：

>>> T_dst = cv2.perspectiveTransform(pts_dst, h)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: m is not a numerical tuple

使用h[0]：

>>> T_dst = cv2.perspectiveTransform(pts_dst, h[0])
OpenCV Error: Assertion failed (scn + 1 == m.cols) in perspectiveTransform, file .../opencv/modules/core/src/matmul.cpp, line 2299
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
cv2.error: .../opencv/modules/core/src/matmul.cpp:2299: error: (-215) scn + 1 == m.cols in function perspectiveTransform

遗憾的是，错误消息对您没有帮助，因为实际问题是指定点的方式。这在技术上是用户错误，但应该更改文档（和函数本身）。

无论如何，修复：向pts向量添加一个频道。看到差异：

>>> np.float32([52, 376, 240, 528, 413, 291, 217, 266]).reshape(4, -1)
array([[  52.,  376.],
       [ 240.,  528.],
       [ 413.,  291.],
       [ 217.,  266.]], dtype=float32)
>>> np.float32([52, 376, 240, 528, 413, 291, 217, 266]).reshape(4, 1, -1)
array([[[  52.,  376.]],

       [[ 240.,  528.]],

       [[ 413.,  291.]],

       [[ 217.,  266.]]], dtype=float32)

幸运的是，findHomography()也适用于此格式，因此您不必使用两种不同的格式，具体取决于您使用的是哪种功能。为了安全起见，只需要为OpenCV函数添加此格式的点。

>>> pts_src = np.float32([52, 376, 240, 528, 413, 291, 217, 266]).reshape(4, 1, -1)
>>> pts_dst = np.float32([56, 478, 387, 497, 376, 124, 148, 218]).reshape(4, 1, -1)
>>> h = cv2.findHomography(pts_src, pts_dst)[0]
>>> T_dst = cv2.perspectiveTransform(pts_dst, h)
>>> T_src = cv2.perspectiveTransform(pts_src, h)
>>> T_src
array([[[  56.,  478.]],

       [[ 387.,  497.]],

       [[ 376.,  124.]],

       [[ 148.,  218.]]], dtype=float32)
>>> T_dst
array([[[ 157.78089905,  588.9598999 ]],

       [[ 495.96539307,  365.68994141]],

       [[ 200.45231628,  -69.54611206]],

       [[  15.72697926,  204.0632019 ]]], dtype=float32)

以上不会产生任何错误。