OpenCV 2.4.3 - warpPerspective在裁剪图像上使用反转单应性

Question

当使用SURF在场景中找到参考图像时，我想在场景中裁剪找到的对象，并使用warpPerspective和反转的单应矩阵“拉直”它。
意思是，让我说我有这个SURF结果：


现在，我想在场景中裁剪找到的对象：


并且使用反转的单应矩阵仅使用warpPerspective“拉直”裁剪的图像。我的目标是，我将获得一个图像，大致只包含对象，以及原始场景中的一些扭曲的剩余物（因为裁剪不是100％的对象）。

裁剪找到的对象，找到单应矩阵并将其反转就足够简单了。问题是，我似乎无法理解warpPerspective的结果。似乎结果图像仅包含裁剪图像的一小部分，并且尺寸非常大。
在研究warpPerspective时，我发现由于过程的性质，得到的图像非常大，但我似乎无法正确地理解如何正确地做到这一点。好像我只是不太了解这个过程。我是否需要对原始（未裁剪）图像进行warpPerspective而不是裁剪“拉直”对象？

有什么建议吗？

Answer 1

试试这个。

假设您拥有对象的未连接轮廓（例如框轮廓的外角点），您可以使用逆单应变换它们并调整单应性以将该变换的结果放置到左上角区域。图像。

1. 计算这些对象点将被扭曲的位置（使用逆单应性和轮廓点作为输入）：

   cv::Rect computeWarpedContourRegion(const std::vector<cv::Point> & points, const cv::Mat & homography)
   {
       std::vector<cv::Point2f> transformed_points(points.size());
   
       for(unsigned int i=0; i<points.size(); ++i)
       {
           // warp the points
           transformed_points[i].x = points[i].x * homography.at<double>(0,0) + points[i].y * homography.at<double>(0,1) + homography.at<double>(0,2) ;
           transformed_points[i].y = points[i].x * homography.at<double>(1,0) + points[i].y * homography.at<double>(1,1) + homography.at<double>(1,2) ;
       }
   
       // dehomogenization necessary?
       if(homography.rows == 3)
       {
           float homog_comp;
           for(unsigned int i=0; i<transformed_points.size(); ++i)
           {
               homog_comp = points[i].x * homography.at<double>(2,0) + points[i].y * homography.at<double>(2,1) + homography.at<double>(2,2) ;
               transformed_points[i].x /= homog_comp;
               transformed_points[i].y /= homog_comp;
           }
       }
   
       // now find the bounding box for these points:
       cv::Rect boundingBox = cv::boundingRect(transformed_points);
       return boundingBox;
   }
   

2. 修改你的逆单应性（computeWarpedContourRegion和inverseHomography的结果作为输入）

   cv::Mat adjustHomography(const cv::Rect & transformedRegion, const cv::Mat & homography)
   {
       if(homography.rows == 2) throw("homography adjustement for affine matrix not implemented yet");
   
       // unit matrix
       cv::Mat correctionHomography = cv::Mat::eye(3,3,CV_64F);
       // correction translation
       correctionHomography.at<double>(0,2) = -transformedRegion.x;
       correctionHomography.at<double>(1,2) = -transformedRegion.y;
   
   
       return correctionHomography * homography;
   }
   

3. 你会打电话给

cv::warpPerspective(objectWithBackground, output, adjustedInverseHomography, sizeOfComputeWarpedContourRegionResult);

希望这有助于=）