Question

我有以下图片。 this image

我想删除数字周围的橙色框/矩形，并保持原始图像干净，没有任何橙色网格/矩形。

以下是我当前的代码，但不会将其删除。

Mat mask = new Mat();
Mat src = new Mat();
src = Imgcodecs.imread("enveloppe.jpg",Imgcodecs.CV_LOAD_IMAGE_COLOR);
Imgproc.cvtColor(src, hsvMat, Imgproc.COLOR_BGR2HSV);

Scalar lowerThreshold = new Scalar(0, 50, 50);
Scalar upperThreshold = new Scalar(25, 255, 255);
Mat mask = new Mat();
Core.inRange(hsvMat, lowerThreshold, upperThreshold, mask);
//src.setTo(new scalar(255,255,255),mask);

what to do next ?

如何从原始图像中删除橙色框/矩形？

更新：有关信息，掩码包含我要删除的所有框/矩形。我不知道如何使用此蒙版从源（src）图像中删除框/矩形，就好像它们不存在一样。

Answer 1

这就是我为解决问题所做的工作。我用C ++解决了这个问题，并使用了OpenCV。

第1部分：查找候选人框

首先，我想隔离特定于红色通道的信号。我将图像分成三个通道。然后我从蓝色通道中减去红色通道，从绿色通道中减去红色。之后，我将两个先前的减法结果相互减去。最终的减法结果如下图所示。

using namespace cv;
using namespace std;

Mat src_rgb = imread("image.jpg");

std::vector<Mat> channels;
split(src_rgb, channels);

Mat diff_rb, diff_rg;
subtract(channels[2], channels[0], diff_rb);
subtract(channels[2], channels[1], diff_rg);

Mat diff;
subtract(diff_rb, diff_rg, diff);

我的下一个目标是将获得的图像的各个部分划分为单独的“组”。为此，我使用高斯滤波器对图像进行了一些平滑处理。然后我应用阈值来获得二进制图像;最后，我在该图像中寻找外部轮廓。

GaussianBlur(diff, diff, cv::Size(11, 11), 2.0, 2.0);
threshold(diff, diff, 5, 255, THRESH_BINARY);

vector<vector<Point>> contours;
findContours(diff, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);

Click to see subtraction result, Gaussian blurred image, thresholded image and detected contours.

第2部分：检查方框候选人

之后，我不得不估计每个轮廓的内部是否包含数字或其他内容。我假设数字总是用黑色墨水打印，并且它们会有锋利的边缘。因此，我拍摄了一个蓝色通道图像，我只应用了一点高斯平滑，并用拉普拉斯算子对其进行了卷积。

Mat blurred_ch2;
GaussianBlur(channels[2], blurred_ch2, cv::Size(7, 7), 1, 1);

Mat laplace_result;
Laplacian(blurred_ch2, laplace_result, -1, 1);

然后我拍摄了得到的图像，并分别对每个轮廓应用以下程序。我计算了轮廓内部的像素值的标准偏差。围绕数字的轮廓内的标准偏差很高;在狗的头部和邮票顶部的字母周围的两个轮廓内部是低的。

这就是我可以应用标准偏差阈值的原因。标准偏差约为。包含数字的轮廓的两倍大，所以这是一种只选择包含数字的轮廓的简单方法。然后我画了轮廓内部面具。我使用侵蚀和减法来获得“盒子边缘面具”。

最后一步相当容易。我计算了图像每个通道上框附近的平均像素值的估计值。然后我将“盒边缘掩码”下的所有像素值更改为每个通道上的值。在我为每个框轮廓重复该过程后，我将所有三个通道合并为一个。

Mat mask(src_rgb.size(), CV_8UC1);
for (int i = 0; i < contours.size(); ++i)
{
    mask.setTo(0);
    drawContours(mask, contours, i, cv::Scalar(200), -1);

    Scalar mean, stdev;
    meanStdDev(laplace_result, mean, stdev, mask);

    if (stdev.val[0] < 10.0) continue;

    Mat eroded;
    erode(mask, eroded, cv::Mat(), cv::Point(-1, -1), 6);
    subtract(mask, eroded, mask);

    for (int c = 0; c < src_rgb.channels(); ++c)
    {
        erode(mask, eroded, cv::Mat());
        subtract(mask, eroded, eroded);

        Scalar mean, stdev;
        meanStdDev(channels[c], mean, stdev, eroded);
        channels[c].setTo(mean, mask);
    }
}

Mat final_result;
merge(channels, final_result);
imshow("Final Result", final_result);

Click to see red channel of the image, the result of convolution with Laplacian operator, drawn mask of the box edges and the final result.

请注意

这段代码远非最佳，特别是最后一个循环做了很多不必要的工作。但我认为在这种情况下，可读性更为重要（问题的作者并未要求优化解决方案）。

寻求更一般的解决方案

在我发布初步回复后，问题的作者注意到数字可以是任何颜色，并且它们的边缘不一定是尖锐的。这意味着上述程序可能因各种原因而失败。 I altered the input image so that it contains different kinds of numbers (click to see the image)您可以在此输入上运行我的算法并分析出错的地方。

我认为，需要其中一种方法（或者两者兼而有之）才能获得更“一般”的解决方案：

只关注矩形的形状和颜色（确认候选框实际上是橙色框，无论内部是什么都将其删除）
只关注数字（在每个候选框内部运行一个正确的数字检测算法;如果它包含一个数字，则删除该框）

我将给出第一种方法的一个简单例子。如果您可以假设橙色框大小始终相同，只需检查框大小而不是算法最后一个循环中信号的标准偏差：

Rect rect = boundingRect(contours[i]);
float area = rect.area();
if (area < 1000 || area > 1200) continue;

警告：矩形的实际面积约为600Px ^ 2，但我考虑了高斯模糊，这导致轮廓扩展。另请注意，如果您使用此方法，则无需再对蓝色通道图像执行模糊操作或拉普拉斯操作。

您还可以为该条件添加其他简单约束;宽度和高度之间的比率是我想到的第一个。几何属性也是一个很好的选择（直角，直边，凸面......）。

从图像中删除框/矩形

1 个答案: