OpenCV Java从场景
我已经成功检测到了边界框，现在我想删除图像中的其他所有内容并保留边界框的内容以提高tesseract的准确性，下面是我已经完成和需要的图像表示（I希望二进制图像只包含字母，所有其他要删除的对象）：
和我的代码：
public static ProcessedFrame preProcessImage(Mat image){
originalFrame = image.clone();
roiColor = image.clone();
Imgproc.cvtColor(image, image, Imgproc.COLOR_BGR2GRAY, 0);
originalFrameGrayScale = image.clone();
Mat morph = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(9, 9));
Imgproc.morphologyEx(image, image, Imgproc.MORPH_TOPHAT, morph);
Imgproc.Sobel(image, image, -1, 2, 0);
Imgproc.GaussianBlur(image, image, new Size(5,5), 3,3);
Imgproc.morphologyEx(image, image, Imgproc.MORPH_CLOSE, morph);
Imgproc.threshold(image, image, 200, 255, Imgproc.THRESH_OTSU);
Vector<Rect> rectangles = detectionContour(image);
Mat roi = originalFrameGrayScale.clone();
if(!rectangles.isEmpty()){
roi = originalFrameGrayScale.submat(rectangles.get(0));
roiBlack = roi.clone();
roiColor = roiColor.submat(rectangles.get(0));
Imgproc.rectangle(originalFrame, rectangles.get(0).br(), rectangles.get(0).tl(), new Scalar(0,0,255), 2);
}
Imgproc.medianBlur(roi, roi, 3);
Imgproc.adaptiveThreshold(roi, roi, 225, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY, 15, 3);
Imgproc.medianBlur(roi, roi, 3);
Imgproc.medianBlur(roi, roi, 3);
Imgproc.adaptiveThreshold(roi, roi, 225, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY, 15, 3);
Imgproc.medianBlur(roi, roi, 3);
roiBinarize = roi.clone();
Mat erode = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(3, 3));
Mat dilate = Imgproc.getStructuringElement(Imgproc.MORPH_RECT,new Size(3, 3));
Imgproc.morphologyEx(roi, roi, Imgproc.MORPH_CLOSE, dilate);
Imgproc.morphologyEx(roi, roi, Imgproc.MORPH_CLOSE, erode);
Vector<Rect> letters = detectionPlateCharacterContour(roi);
doTesseractOCR(letters, roiBinarize);
return new ProcessedFrame(originalFrame, roiColor, roiBinarize, roi);
}
private static void doTesseractOCR(Vector<Rect> letters, Mat plate){
Tesseract instance = new Tesseract(); //
instance.setLanguage(LANGUAGE);
String resultPlate = "AAA0000";
for(int i= 0; i < letters.size(); i++){
BufferedImage letter = OpenCvUtils.Mat2bufferedImage(plate.submat(letters.get(i)));
try {
String result = instance.doOCR(letter);
String character = result.replace("\n", "");
resultPlate = new StringBuilder(resultPlate).replace(i ,i+1, character).toString();
} catch (TesseractException e) {
System.err.println(e.getMessage());
}
System.out.println("Tesseract output: "+resultPlate);
}
try {
String result = instance.doOCR(OpenCvUtils.Mat2bufferedImage(roiBinarize));
System.out.println("Tesseract output2: "+result.replace("\n", ""));
} catch (TesseractException e) {
System.err.println(e.getMessage());
}
}
private static Vector<Rect> detectionPlateCharacterContour(Mat roi) {
Mat contHierarchy = new Mat();
Mat imageMat = roi.clone();
Rect rect = null;
List<MatOfPoint> contours = new ArrayList<>();
Imgproc.findContours(imageMat, contours, contHierarchy, Imgproc.RETR_CCOMP, Imgproc.CHAIN_APPROX_SIMPLE);
Vector<Rect> rect_array = new Vector<>();
for (int i = 0; i < contours.size(); i++) {
rect = Imgproc.boundingRect(contours.get(i));
double ratio = 0;
if(rect.height > rect.width){
ratio = rect.height/rect.width;
}else{
ratio = rect.width/rect.height;
}
Logger.printMessage("Ratio of letter: "+ratio);
double contourarea = Imgproc.contourArea(contours.get(i));
if (contourarea >= 160 && contourarea <= 1000 && ( ratio >= 1 && ratio <= 2)) {
Imgproc.rectangle(roiColor, rect.br(), rect.tl(), new Scalar(10,50,255));
rect_array.add(rect);
}
}
contHierarchy.release();
return rect_array;
}
private static Vector<Rect> detectionContour(Mat outmat) {
Mat contHierarchy = new Mat();
Mat imageMat = outmat.clone();
List<MatOfPoint> contours = new ArrayList<>();
Imgproc.findContours(imageMat, contours, contHierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_NONE);
Vector<Rect> rect_array = new Vector<>();
for (int i = 0; i < contours.size(); i++) {
Rect rect = Imgproc.boundingRect(contours.get(i));
Mat contour = contours.get(i);
double contourarea = Imgproc.contourArea(contour);
double ratio = 0;
int radius = 0;
if(rect.height > rect.width){
ratio = rect.height/rect.width;
radius = rect.height/2;
}else{
ratio = rect.width/rect.height;
radius = rect.width/2;
}
if (contourarea >= 2000 && contourarea <= 10000 && ( ratio == 1 || ratio == 2)) {
Logger.printMessage("Rectangle ratio: "+ratio);
MatOfPoint2f mat2f = new MatOfPoint2f();
contours.get(i).convertTo(mat2f, CvType.CV_32FC2);
RotatedRect rotatedRect = Imgproc.minAreaRect( mat2f );
double rotationAngle = rotatedRect.angle;
if(rotatedRect.angle > 0)
rotationAngle = 90 - rotatedRect.angle;
else
rotationAngle = rotatedRect.angle;
Logger.printMessage("Rotation is: "+(rotationAngle));
rect = enlargeROI(originalFrame, rect, 10);
rect_array.add(rect);
}
}
contHierarchy.release();
return rect_array;
}
private Vector<Rect> detectionContours(Mat outmat) {
Mat contHierarchy = new Mat();
Mat imageMat = outmat.clone();
Rect contourRect = null;
List<MatOfPoint> contours = new ArrayList<>();
Imgproc.findContours(imageMat, contours, contHierarchy, Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);
Vector<Rect> rect_array = new Vector<>();
for (int i = 0; i < contours.size(); i++) {
Mat contour = contours.get(i);
double contourarea = Imgproc.contourArea(contour);
if (contourarea > minBlob && contourarea < maxBlob) {
contourRect = Imgproc.boundingRect(contours.get(i));
rect_array.add(contourRect);
}
}
contHierarchy.release();
return rect_array;
}
当我运行此代码打印出每个矩形的质心时，我发现了这一点 2 x：18.0 y：111.0 2 x：42.0 y：109.0 7 x：65.0 y：108.0 0x：89.0 y：108.0 A x：29.0 y：61.0 C x：52.0 y：58.0 P x：77.0 y：58.0
1 个答案:
答案 0 :(得分：0)
看起来你只需要在你的字母边框上做一些预处理，在将它们送到Tesseract之前做它可能是有意义的，尽管它并不是绝对必要的。让我们首先用轮廓索引注释我们的样本图像，并将它们的属性制成表格。
contour | bbox centroid | recognised
index | x | y | symbol
--------+-------+-------+-----------
0 | 18.0 | 111.0 | 2
1 | 42.0 | 109.0 | 2
2 | 65.0 | 108.0 | 7
3 | 89.0 | 108.0 | 0
4 | 29.0 | 61.0 | A
5 | 52.0 | 58.0 | C
6 | 77.0 | 58.0 | P
当某人阅读此牌照时，他们从最上面的一行符号开始，并从左到右阅读符号。在他们到达最右边的符号后，他们移动到下一行，并再次从左到右。因此，我们应该将一个符号（或代表它们的边界框）组织在一个允许我们轻松完成的结构中。
我们可以使用Vector<Rect>来表示每一行符号。由于总有两行符号，我们需要这个向量的两个实例 - 让我们将它们称为 row0 和 row1 。
第一项任务是将符号的边界框分类为两组，并在此基础上将它们添加到适当的行向量中。一个简单的方法可能是这样的：
- 计算符号质心的
y坐标的平均值。在我们的示例中，它大约是mean_y=87.5。 - 对于每个检测到的符号：
- 如果符号质心的
y坐标小于mean_y，请将符号添加到 row0 - 否则，请将符号添加到 row1
- 如果符号质心的
当我们对我们的符号样本集执行此算法时，我们会看到
| contained
row | symbol ids
-----+--------------
row0 | 4, 5, 6
row1 | 0, 1, 2, 3
如果这种简单的方法不够充分，您可以尝试一些更高级的means of clustering。
第二项任务是对每一行进行排序，使符号从左向右：
- 每行：
- 按行中心的
x坐标 按升序对行元素进行排序
- 按行中心的
我的Java非常生疏，但您可以使用comparator执行此操作。您可以参考this SO answer以获取有关如何使用Java对集合进行排序的更多详细信息。
在我们的示例中，每行中的元素已经按顺序排列，所以没有任何事情要做......
| contained
row | symbol ids
-----+--------------
row0 | 4, 5, 6
row1 | 0, 1, 2, 3
现在我们可以
- 每行：
- 对于行中的每个符号
- 使用Tesseract进行处理
- 根据需要处理结果（例如打印）
- 对于行中的每个符号
在我们的示例中，我们得到
ACP
2270
相关问题
最新问题
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？