Question

我目前有一种方法可以检测图像中的卡片，大多数情况下，当灯光相当一致并且背景非常平静时，它可以正常工作。

以下是我用来执行此操作的代码：

    Mat img = inImg.clone();
    outImg = Mat(inImg.size(), CV_8UC1);
    inImg.copyTo(outImg);

    Mat img_fullRes = img.clone();

    pyrDown(img, img);

    Mat imgGray;
    cvtColor(img, imgGray, CV_RGB2GRAY);
    outImg_gray = imgGray.clone();
    // Find Edges //

    Mat detectedEdges = imgGray.clone();

    bilateralFilter(imgGray, detectedEdges, 0, 185, 3, 0);
    Canny( detectedEdges, detectedEdges, 20, 65, 3 );

    dilate(detectedEdges, detectedEdges, Mat::ones(3,3,CV_8UC1));
    Mat cdst = img.clone();

    vector<Vec4i> lines;
    HoughLinesP(detectedEdges, lines, 1, CV_PI/180, 60, 50, 3 );
    for( size_t i = 0; i < lines.size(); i++ )
    {
        Vec4i l = lines[i];
        // For debug
        //line( cdst, cv::Point(l[0], l[1]), cv::Point(l[2], l[3]), Scalar(0,0,255), 1);
    }
    //cdst.copyTo(inImg);

//    // Find points of intersection //

    cv::Rect imgROI;
    int ext = 10;
    imgROI.x = ext;
    imgROI.y = ext;
    imgROI.width = img.size().width - ext;
    imgROI.height = img.size().height - ext;

    int N = lines.size();
    // Creating N amount of points // N == lines.size()
    cv::Point** poi = new cv::Point*[N];
    for( int i = 0; i < N; i++ )
        poi[i] = new cv::Point[N];
    vector<cv::Point> poiList;
    for( int i = 0; i < N; i++ )
    {
        poi[i][i] = cv::Point(-1,-1);
        Vec4i line1 = lines[i];
        for( int j = i + 1; j < N; j++ )
        {
            Vec4i line2 = lines[j];
            cv::Point p = computeIntersect(line1, line2, imgROI);

            if( p.x != -1 )
            {
                //line(cdst, p-cv::Point(2,0), p+cv::Point(2,0), Scalar(0,255,0));
                //line(cdst, p-cv::Point(0,2), p+cv::Point(0,2), Scalar(0,255,0));

                poiList.push_back(p);
            }

            poi[i][j] = p;
            poi[j][i] = p;
        }
    }

    cdst.copyTo(inImg);

    if(poiList.size()==0)
    {
        outImg = inImg.clone();
        //circle(outImg, cv::Point(100,100), 50, Scalar(255,0,0), -1);
        return;
    }

    convexHull(poiList, poiList, false, true);

    for( int i=0; i<poiList.size(); i++ )
    {
        cv::Point p = poiList[i];
        //circle(cdst, p, 3, Scalar(255,0,0), 2);
    }
     //Evaluate all possible quadrilaterals

    cv::Point cardCorners[4];
    float metric_max = 0;
    int Npoi = poiList.size();
    for( int p1=0; p1<Npoi; p1++ )
    {
        cv::Point pts[4];
        pts[0] = poiList[p1];

        for( int p2=p1+1; p2<Npoi; p2++ )
        {
            pts[1] = poiList[p2];
            if( isCloseBy(pts[1],pts[0]) )
                continue;

            for( int p3=p2+1; p3<Npoi; p3++ )
            {
                pts[2] = poiList[p3];
                if( isCloseBy(pts[2],pts[1]) || isCloseBy(pts[2],pts[0]) )
                    continue;


                for( int p4=p3+1; p4<Npoi; p4++ )
                {
                    pts[3] = poiList[p4];
                    if( isCloseBy(pts[3],pts[0]) || isCloseBy(pts[3],pts[1])
                       || isCloseBy(pts[3],pts[2]) )
                        continue;


                    // get the metrics
                    float area = getArea(pts);

                    cv::Point a = pts[0]-pts[1];
                    cv::Point b = pts[1]-pts[2];
                    cv::Point c = pts[2]-pts[3];
                    cv::Point d = pts[3]-pts[0];
                    float oppLenDiff = abs(a.dot(a)-c.dot(c)) + abs(b.dot(b)-d.dot(d));

                    float metric = area - 0.35*oppLenDiff;
                    if( metric > metric_max )
                    {
                        metric_max = metric;
                        cardCorners[0] = pts[0];
                        cardCorners[1] = pts[1];
                        cardCorners[2] = pts[2];
                        cardCorners[3] = pts[3];
                    }

                }
            }
        }
    }

    // find the corners corresponding to the 4 corners of the physical card
    sortPointsClockwise(cardCorners);

    // Calculate Homography //

    vector<Point2f> srcPts(4);
    srcPts[0] = cardCorners[0]*2;
    srcPts[1] = cardCorners[1]*2;
    srcPts[2] = cardCorners[2]*2;
    srcPts[3] = cardCorners[3]*2;


    vector<Point2f> dstPts(4);
    cv::Size outImgSize(1400,800);

    dstPts[0] = Point2f(0,0);
    dstPts[1] = Point2f(outImgSize.width-1,0);
    dstPts[2] = Point2f(outImgSize.width-1,outImgSize.height-1);
    dstPts[3] = Point2f(0,outImgSize.height-1);

    Mat Homography = findHomography(srcPts, dstPts);

    // Apply Homography
    warpPerspective( img_fullRes, outImg, Homography, outImgSize, INTER_CUBIC );
    outImg.copyTo(inImg);

computeIntersect定义为：

cv::Point computeIntersect(cv::Vec4i a, cv::Vec4i b, cv::Rect ROI)
{
    int x1 = a[0], y1 = a[1], x2 = a[2], y2 = a[3];
    int x3 = b[0], y3 = b[1], x4 = b[2], y4 = b[3];

    cv::Point  p1 = cv::Point (x1,y1);
    cv::Point  p2 = cv::Point (x2,y2);
    cv::Point  p3 = cv::Point (x3,y3);
    cv::Point  p4 = cv::Point (x4,y4);
    // Check to make sure all points are within the image boundrys, if not reject them.
    if( !ROI.contains(p1) || !ROI.contains(p2)
       || !ROI.contains(p3) || !ROI.contains(p4) )
        return cv::Point (-1,-1);

    cv::Point  vec1 = p1-p2;
    cv::Point  vec2 = p3-p4;

    float vec1_norm2 = vec1.x*vec1.x + vec1.y*vec1.y;
    float vec2_norm2 = vec2.x*vec2.x + vec2.y*vec2.y;
    float cosTheta = (vec1.dot(vec2))/sqrt(vec1_norm2*vec2_norm2);

    float den = ((float)(x1-x2) * (y3-y4)) - ((y1-y2) * (x3-x4));
    if(den != 0)
    {
        cv::Point2f pt;
        pt.x = ((x1*y2 - y1*x2) * (x3-x4) - (x1-x2) * (x3*y4 - y3*x4)) / den;
        pt.y = ((x1*y2 - y1*x2) * (y3-y4) - (y1-y2) * (x3*y4 - y3*x4)) / den;

        if( !ROI.contains(pt) )
            return cv::Point (-1,-1);

        // no-confidence metric
        float d1 = MIN( dist2(p1,pt), dist2(p2,pt) )/vec1_norm2;
        float d2 = MIN( dist2(p3,pt), dist2(p4,pt) )/vec2_norm2;

        float no_confidence_metric = MAX(sqrt(d1),sqrt(d2));

        // If end point ratios are greater than .5 reject
        if( no_confidence_metric < 0.5 && cosTheta < 0.707 )
            return cv::Point (int(pt.x+0.5), int(pt.y+0.5));
    }

    return cv::Point(-1, -1);
}

sortPointsClockWise定义为：

void sortPointsClockwise(cv::Point a[])
{
    cv::Point b[4];

    cv::Point ctr = (a[0]+a[1]+a[2]+a[3]);
    ctr.x /= 4;
    ctr.y /= 4;
    b[0] = a[0]-ctr;
    b[1] = a[1]-ctr;
    b[2] = a[2]-ctr;
    b[3] = a[3]-ctr;

    for( int i=0; i<4; i++ )
    {
        if( b[i].x < 0 )
        {
            if( b[i].y < 0 )
                a[0] = b[i]+ctr;
            else
                a[3] = b[i]+ctr;
        }
        else
        {
            if( b[i].y < 0 )
                a[1] = b[i]+ctr;
            else
                a[2] = b[i]+ctr;
        }
    }

}

getArea定义为：

float getArea(cv::Point arr[])
{
    cv::Point  diag1 = arr[0]-arr[2];
    cv::Point  diag2 = arr[1]-arr[3];

    return 0.5*(diag1.cross(diag2));
}

isCloseBy定义为：

bool isCloseBy( cv::Point p1, cv::Point p2 )
{
    int D = 10;
    // Checking that X values are within 10, same for Y values.
    return ( abs(p1.x-p2.x)<=D && abs(p1.y-p2.y)<=D );
}

最后dist2：

float dist2( cv::Point p1, cv::Point p2 )
{
    return float((p1.x-p2.x)*(p1.x-p2.x) + (p1.y-p2.y)*(p1.y-p2.y));
}

以下是几张测试图片及其结果：

对于非常冗长的帖子感到抱歉，但我希望有人可以提出一种方法，我可以使我的方法从图像中提取卡片更加健壮。可以更好地处理破坏性背景以及不一致的照明。

当卡片放置在具有良好照明的对比背景上时，我的方法几乎占90％的时间。但显然我需要一种更强大的方法。

有人有任何建议吗？

感谢。

尝试dhanushka的解决方案

Mat gray, bw;     pyrDown(inImg, inImg);
cvtColor(inImg, gray, CV_RGB2GRAY);
int morph_size = 3;
Mat element = getStructuringElement( MORPH_ELLIPSE, cv::Size( 4*morph_size + 1, 2*morph_size+1 ), cv::Point( morph_size, morph_size ) );

morphologyEx(gray, gray, 2, element);
threshold(gray, bw, 160, 255, CV_THRESH_BINARY);

vector<vector<cv::Point> > contours;
vector<Vec4i> hierarchy;
findContours( bw, contours, hierarchy, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cv::Point(0, 0) );

int largest_area=0;
int largest_contour_index=0;
cv::Rect bounding_rect;

for( int i = 0; i< contours.size(); i++ )
{
    double a=contourArea( contours[i],false);  //  Find the area of contour
    if(a>largest_area){
        largest_area=a;
        largest_contour_index=i;                //Store the index of largest contour
        bounding_rect=boundingRect(contours[i]);
    }
}

//Scalar color( 255,255,255);
rectangle(inImg, bounding_rect,  Scalar(0,255,0),1, 8,0);
Mat biggestRect = inImg(bounding_rect);
Mat card1 = biggestRect.clone();

Answer 1

图像处理的艺术（在我10多年的经验中）就是：艺术。没有单一的答案，并且总有不止一种方法可以做到这一点。肯定会在某些情况下失败。

根据我在医学图像中自动检测特征的经验，构建可靠的算法需要很长时间，但事后看来，使用相对简单的算法可以获得最佳结果。但是，获取这个简单算法需要花费大量时间。

为此，一般方法总是一样的：

入门是建立一个大型测试图像数据库（至少100个）。这定义了应该起作用的“正常”图像。通过收集图像，您已经开始考虑问题。
注释图像以构建一种“基本事实”。在这种情况下，“基本事实”应该包含卡片的4个角落，因为这些是有趣的点。
创建一个应用程序，在这些图像上运行算法并将结果与基础事实进行比较。在这种情况下，“与地面实况比较”将是将找到的4个角点与地面实况角点的平均距离。
输出以制表符分隔的文件，您调用.xls，因此可以通过双击在Excel中打开（在Windows上）。很高兴快速了解案例。先看看最坏的情况。然后手动打开这些案例，试着理解它们无法正常工作的原因。
现在您已准备好更改算法。改变一些东西，并重新运行。将新Excel表格与旧Excel表格进行比较。现在你开始意识到你必须做出的权衡。

话说回来，我认为你需要在调整算法时回答这些问题：

你是否允许折叠卡片？那么没有完全直线？如果是这样，请更多地集中在角落而不是线条/边缘。
您是否允许逐渐出现照明差异？如果是这样，局部对比拉伸过滤器可能有所帮助。
您是否允许卡片的背景颜色与背景相同？如果是这样，你必须专注于卡的内容而不是卡的边框。
你是否允许使用非完美镜片？如果是这样，到哪个延伸？
你允许旋转卡吗？如果是这样，到哪个延伸？
背景颜色和/或纹理是否均匀？
最小的可检测卡相对于图像尺寸有多小？如果你认为应该覆盖至少80％的宽度或高度，你就会恢复健壮。
如果图片中有多张卡片可见，那么算法应该是健壮的，只选一个，还是输出正常？
如果没有卡片可见，是否应该检测到这种情况？建立检测此案例将使其更加用户友好（'找不到卡'），但也不那么健壮。

这些将使图像的要求和假设得以获得。您可以依赖的假设非常强大：如果您选择正确的算法，它们会使算法快速，稳健和简单。同样，让这些要求和假设成为测试数据库的一部分。

那么我会选择什么？基于您提供的三个图像，我将从以下内容开始：

假设卡片的图像填充率为50％至100％。
假设卡片最多旋转10度左右。
假设角落清晰可见。
假设卡的纵横比（高度除以宽度）在1/3和3之间。
假设背景中没有类似卡片的物品

然后算法看起来像：

使用角落滤镜在图像的每个象限中检测特定角落。所以在图像的左上象限中，卡的左上角。请查看http://www.ee.surrey.ac.uk/CVSSP/demos/corners/results3.html处的示例，或使用OpenCV函数，例如cornerHarris。
为了更加健壮，每个象限计算多个角落。
尝试通过组合每个象限的点来构建每个象限一个角的平行四边形。创建一个健身功能，可以给予更高的分数：
- 具有接近90度的内角
- 很大
- 可选择根据灯光或其他功能比较卡片的角落。
此健身功能可在以后提供大量调整功能。
返回得分最高的平行四边形。

那么为什么使用角点检测而不是霍夫变换来进行线路检测呢？在我看来，霍夫变换（接下来很慢）对背景中的模式非常敏感（这是你在第一张图片中看到的 - 它在背景中检测到比卡更强的线条），它不能除非你使用更大的箱子尺寸会使检测更加恶化，否则处理好一点曲线。

祝你好运！

Answer 2

更一般的方法肯定会像Rutger Nijlunsing在他的回答中所说的那样。但是，在您的情况下，至少对于提供的样本图像，一个非常简单的方法，如形态开放，然后是阈值处理，轮廓处理和凸包，将产生您想要的结果。使用缩小版本的图像进行处理，这样您就不必使用大型内核进行形态学操作。以下是以这种方式处理的图像。

    pyrDown(large, rgb0);
    pyrDown(rgb0, rgb0);
    pyrDown(rgb0, rgb0);

    Mat small;
    cvtColor(rgb0, small, CV_BGR2GRAY);

    Mat morph;
    Mat kernel = getStructuringElement(MORPH_ELLIPSE, Size(11, 11));
    morphologyEx(small, morph, MORPH_OPEN, kernel);

    Mat bw;
    threshold(morph, bw, 0, 255.0, CV_THRESH_BINARY | CV_THRESH_OTSU);

    Mat bdry;
    kernel = getStructuringElement(MORPH_ELLIPSE, Size(3, 3));
    erode(bw, bdry, kernel);
    subtract(bw, bdry, bdry);

    // do contour processing on bdry

这种方法一般不起作用，所以我强烈建议像Rutger建议的那样。

enter image description here

强大的卡检测/持续更正OpenCV

2 个答案: