在opencv

Question

我正在尝试删除文本周围的黑线（如果有的话）。我的目的是只保留图像的足够部分以提取其中的每个字符。当我尝试提取字符时，其他黑线是噪音。

我尝试在opencv中使用Floodfill，但是在黑线从左上角开始之前，图像包含一些白色像素。因此，它并未取得成果。我尝试通过查找轮廓进行裁切，但即使这样也无法正常工作。 图像如下：

import cv2
import numpy as np

img = cv2.imread('./Cropped/22.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
_,thresh = cv2.threshold(gray,1,255,cv2.THRESH_BINARY)
contours,hierarchy = cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnt = contours[0]
x,y,w,h = cv2.boundingRect(cnt)
crop = img[y:y+h,x:x+w]

cv2.imshow('Image',img)
cv2.imshow('Cropped Image',crop)
cv2.waitKey(0)

并使用Floodfill

img = cv2.imread('./Cropped/22.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# threshold the gray image to binarize, and negate it
gray = cv2.bitwise_not(gray)
w = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_MEAN_C, \
                          cv2.THRESH_BINARY, 15, -2)

# find external contours of all shapes
contours,h = cv2.findContours(bw, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)

# create a mask for floodfill function, see documentation
h,w,_ = img.shape
mask = np.zeros((h+2,w+2), np.uint8)

# determine which contour belongs to a square or rectangle
for cnt in contours:
    poly = cv2.approxPolyDP(cnt, 0.02*cv2.arcLength(cnt,True),True)
    if len(poly) == 4:
        # if the contour has 4 vertices then floodfill that contour with black color
        cnt = np.vstack(cnt).squeeze()
        _,binary,_,_ = cv2.floodFill(bw, mask, tuple(cnt[0]), 0)
# convert image back to original color
binary = cv2.bitwise_not(binary)        

cv2.imshow('Image', binary)
cv2.waitKey(0)
cv2.destroyAllWindows()

两种情况的结果如下

但是似乎没有变化，并且

不会删除任何边框。 两种代码的思想都是从类似问题的堆栈溢出答案中获得的。

编辑

我找到了@rayryeng评论中提到的解决方案。但是，当我输入裁剪后的图像进行数字提取时，我得到了这些图像，并得到了错误的结果。我猜有些嘈杂的像素没有被去除。 这是原始图像 Original Image。 阈值图像为Thresholding Image。提取的轮廓如下First contour，Second contour，Third contour，Fourth contour。 如果对此有一个通用的解决方案，那就太好了。

Answer 1

请注意，黑线所占的面积比文本本身小得多。此外，我们可以利用以下事实：文本非常紧密地靠近在一起。因此，我建议的一件事是将文本Blob合并在一起，使它们成为一个大Blob。利用顶部有一个Blob，底部有一个Blob的事实，一旦检测到轮廓，我们就应该希望有三个Blob，然后选择面积最大的Blob并在其周围形成一个边界矩形。 / p>

您可以将二进制斑点与morphological closing结合在一起，然后找到轮廓并提取其面积。作为附加处理，让我们也稍微dilate一点，以便在裁剪之前可以看到更多文本背景。  之后，选择面积和产量最大的斑点。

请注意，我不仅要对图像进行阈值处理，而且还要执行反阈值处理，使黑色区域变成白色，反之亦然。另外，我必须将您的阈值从1更改为128。将一个无符号的8位图像的阈值设置为1意味着您要创建一个二进制图像，其中几乎所有内容都是白色。对于此类图像，您必须增加公差。最后，cv2.findContours在OpenCV 2.4.x和OpenCV 3.x之间的调用方式略有不同。总而言之，该方法还有一个附加输出，即您提供给该方法的源图像，因此您可以放心地忽略它。

import cv2
import numpy as np

img = cv2.imread('MgPg8.jpg') # Image saved offline on my computer
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
_,thresh = cv2.threshold(gray,128,255,cv2.THRESH_BINARY_INV) # Change

# Perform morphological closing
out = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, 255*np.ones((11, 11), dtype=np.uint8))
# Perform dilation to expand the borders of the text to be sure
out = cv2.dilate(thresh, 255*np.ones((11, 11), dtype=np.uint8))

# For OpenCV 3.0
_,contours,hierarchy = cv2.findContours(out,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) # Change
# For OpenCV 2.4.x
# contours,hierarchy = cv2.findContours(out,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

# Find the area made by each contour
areas = [cv2.contourArea(c) for c in contours]

# Figure out which contour has the largest area
idx = np.argmax(areas)

# Choose that contour, then get the bounding rectangle for this contour
cnt = contours[idx]
x,y,w,h = cv2.boundingRect(cnt)

# Crop
crop = img[y:y+h,x:x+w]

cv2.imshow('Image',img)
cv2.imshow('Thresholded Image',thresh)
cv2.imshow('Closed Image',out)
cv2.imshow('Cropped', crop)
cv2.imwrite('thresh.png', thresh)
cv2.imwrite('binary.png', out)
cv2.imwrite('crop.png', crop)
cv2.waitKey(0)
cv2.destroyAllWindows()

对于阈值图像，经过形态处理的图像以及最终的裁剪图像，我得到以下信息：