Question

我正在使用opencv_contrib来检测图片中的文字区域。

这是原始图片

这是找到文字区域后的图像：

可以看出，图像中存在重叠的组。例如，Hello World周围似乎有两个组，Some more sample text周围有两个

问题在这些场景中，如何通过合并两个框来保持最宽的框。对于这些示例，这些示例将以H开头并以d结尾，以便涵盖Hello World。我这样做的原因是我想裁剪这部分图像并将其发送给tesseract。

以下是绘制框的相关代码。

void groups_draw(Mat &src, vector<Rect> &groups)
{
    for (int i=(int)groups.size()-1; i>=0; i--)
    {
        if (src.type() == CV_8UC3)
            rectangle(src,groups.at(i).tl(),groups.at(i).br(),Scalar( 0, 255, 255 ), 2, 8 );
    }
}

这是我尝试过的。我的想法在评论中。

void groups_draw(Mat &src, vector<Rect> &groups)
{
    int previous_tl_x = 0;
    int previous_tl_y = 0;
    int prevoius_br_x = 0;
    int previous_br_y = 0;
    //sort the groups from lowest to largest.
    for (int i=(int)groups.size()-1; i>=0; i--)
    {
        //if previous_tl_x is smaller than current_tl_x then keep the current one.
       //if previous_br_x is smaller than current_br_x then keep the current one.
        if (src.type() == CV_8UC3) {
          //crop the image
          Mat cropedImage = src(Rect(Point(groups.at(i).tl().x, groups.at(i).tl().y),Point(groups.at(i).br().x, groups.at(i).br().y)));
          imshow("cropped",cropedImage);
          waitKey(-1);
        }
    }
}

更新

我正在尝试使用[groupRectangles][4]来完成此任务：

void groups_draw(Mat &src, vector<Rect> &groups)
{
    vector<Rect> rects;
    for (int i=(int)groups.size()-1; i>=0; i--)
    {
        rects.push_back(groups.at(i));
    }
    groupRectangles(rects, 1, 0.2);
}

然而，这给了我一个错误：

textdetection.cpp:106:5: error: use of undeclared identifier 'groupRectangles'
    groupRectangles(rects, 1, 0.2);
    ^
1 error generated.

Answer 1

首先，您获得重叠边界框的原因是文本检测器模块正在处理反向通道（例如：灰色和反向灰色），因此，某些字符（如o和g）的内部区域被错误地检测到，分组为字符。因此，如果您只想检测一种文本模式（深色背景上的白色文本），只需通过反转的通道即可。替换：

 for (int c = 0; c < cn-1; c++)
    channels.push_back(255-channels[c]);

使用：

for (int c = 0; c < cn-1; c++)
    channels[c] = (255-channels[c]);

现在针对您的问题，矩形定义了交集和组合运算符：

rect = rect1 & rect2 (rectangle intersection)
rect = rect1 | rect2 (minimum area rectangle containing rect2 and rect3 )
rect &= rect1, rect |= rect1 (and the corresponding augmenting operations)

您可以在迭代矩形时使用这些运算符来检测相交的矩形并将它们组合，如下所示：

if ((rect1 & rect2).area() != 0)
    rect1 |= rect2;

修改

首先，按区域从最大到最小排序矩形组：

std::sort(groups.begin(), groups.end(), [](const cv::Rect &rect1, const cv::Rect &rect2) -> bool {return rect1.area() > rect2.area();});

然后，迭代矩形，当两个矩形相交时，将较小的矩形添加到较大的矩形，然后将其删除：

for (int i = 0; i < groups.size(); i++) { for (int j = i + 1; j < groups.size(); j++) { if ((groups[i] & groups[j]).area() != 0) { groups[i] |= groups[j]; groups.erase(groups.begin() + j--); } } }

Answer 2

一种方法是将每个矩形与每个其他矩形进行比较，以查看它们是重叠还是相交。如果它们足够多，你可以将它们组合成一个更大的矩形。

组合图像中的重叠组

2 个答案: