如何将此图像处理从Matlab转换为OpenCV?

时间:2015-07-20 14:59:28

标签: matlab opencv computer-vision matlab-cvst opencv3.0

以下链接使用Matlab从图像中删除非文本内容。我想用Java中的OpenCV做同样的事情。

我没有Matlab可以尝试,我是OpenCV的新手。虽然我知道有关该过程背后理论的一些基础知识,但是很难将Matlab语言翻译成OpenCV 3.0。最好是用Java。

http://www.mathworks.com/help/vision/examples/automatically-detect-and-recognize-text-in-natural-images.html

ADD 1 - 使用MSER检测区域(尚未解析)

对于MSER检测,我可以使用以下代码来检测MSER关键点。

public static void MSERdetector(String imgName1, String suffix1) {
    Mat imgMat1 = Imgcodecs.imread(picDir + imgName1 + "." + suffix1, Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
    String outImgName1 = picDir + "MSER" + "_keypoints_" + imgName1 + "_"   + ".tif";
    Mat outImg1 = new Mat();        

FeatureDetector featureDetector = FeatureDetector.create(FeatureDetector.MSER); // create the feature detector

MatOfKeyPoint keypoints1 = new MatOfKeyPoint();
featureDetector.detect(imgMat1, keypoints1);

if (!keypoints1.empty()) {
    Features2d.drawKeypoints(imgMat1, keypoints1, outImg1);
    Imgcodecs.imwrite(outImgName1, outImg1);
    System.out.println("done");
}
else {
    System.out.println("No keypoints found for: " + imgName1);
}

}

输出如下: enter image description here

但我不知道如何将关键点转换为区域。我需要的是:

enter image description here

ADD 2 - Canny边缘和与MSER区域的交集(尚未解析)

一旦我能够找到MSER区域,我应该intersect it with Canny edges。我可以找到一些Canny边缘如下。但我不知道如何进行intersection操作。

public static void CANNYedge(String imgName1, String suffix1) {
    Mat imgMat1 = Imgcodecs.imread(picDir + imgName1 + "." + suffix1, Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
    //imgMat1 = ImageUtilities.Convert2BW(imgMat1);
    String outImgName1 = picDir + "_CANNY_" + imgName1 + ".tif";
    Mat outImg1 = new Mat();
    Imgproc.Canny(imgMat1, outImg1, 0, 500);
    Imgcodecs.imwrite(outImgName1, outImg1);
}

我的canny边缘输出如下所示: enter image description here

ADD 3 - 现在我转向使用VS 2013社区

要使用VS2013设置OpenCV,请选中here

ADD 4 - VC ++ 2013中的编码

以下是我现在参考here尝试的内容。

//Step2: Detect MSER regions
Mat grayImage;
cvtColor(colorImage, grayImage, CV_BGR2GRAY);
imshow("Gray Image", grayImage);
waitKey(0);


Ptr<MSER> mserExtractor = MSER::create(); // create MSER extractor with default parameters. http://code.opencv.org/projects/opencv/wiki/MSER http://docs.opencv.org/master/d3/d28/classcv_1_1MSER.html#a49d72a1346413106516a7fc6d95c09bb
mserExtractor->setMinArea(150);
mserExtractor->setMaxArea(2000);
//Mat mserOutMask = Mat::zeros(grayImage.rows, grayImage.cols, CV_8UC3);

Mat vis;
//vis = Mat::zeros(grayImage.rows, grayImage.cols, CV_8UC3);
grayImage.copyTo(vis);

vector<vector<Point>> mserContours;
vector<Rect> mserBBox;//what's this?
mserExtractor->detectRegions(grayImage, mserContours, mserBBox);

for (int i = 0; i<mserContours.size(); i++)
{
    drawContours(vis, mserContours, i, Scalar(255, 255, 255), 4);
}

imshow("MSER by contours", vis);
waitKey(0);

Mat vis2;
grayImage.copyTo(vis2);
for (vector<cv::Point> v : mserContours){
    for (cv::Point p : v){
        vis2.at<uchar>(p.y, p.x) = 255;
    }
}
imshow("MSER by points", vis);
waitKey(0);

我得到的是这些:

vis1 - MSER by contours enter image description here

vis2 - MSER by points enter image description here

ADD 5

我刚刚按照Miki的建议尝试了text detection sample。 它需要一些训练有素的模型文件来运行。它花了将近2分钟才完成,但我们可以稍后离开。 我的方案是从复杂的屏幕截图中删除OCR文本(很抱歉,直到现在才透露)。虽然结果非常适合自然场景。屏幕截图并不那么吸引人。结果如下:

enter image description here

1 个答案:

答案 0 :(得分:2)

发布答案只是为了显示OpenCV text detection example

的结果

enter image description here

现在您需要应用文本识别,例如使用OCRHMMDecoder

您将找到一个示例here