识别扫描图像上的手写数字

Question

我正在尝试在此处读取扫描图像中的所有手写数字

我尝试使用PIL逐像素查看，裁剪子图像，然后通过神经网络对其进行馈送，但是被裁剪的区域从来没有完全对齐，并导致了很多不准确性。

我也尝试过使用OpenCV查找所有灰色方块，然后裁剪图像并通过神经网络进行输入，但是我似乎无法完全找到它，甚至错过了几个。它会错过约30％的正方形。 （我对OpenCV的经验不是很丰富，所以我可能会搞砸了）

所以我只是在寻找解决此问题的潜在想法/解决方案，因此，任何建议都将受到赞赏，谢谢！！

Answer 1

我假设输入的图像名称是“ sqaures.jpg”

首先，导入所需的库并以RGB和灰色格式加载图像：

import cv2
import numpy as np

image = cv2.imread("squares.jpg", 1)
image_gray = cv2.imread("squares.jpg", 0)

然后，我们执行一个简单的操作，使用np.where（）函数清除输入图像中的一些噪点：

image_gray = np.where(image_gray > 240, 255, image_gray)
image_gray = np.where(image_gray <= 240, 0, image_gray)

因为我们要从图像中捕获整个正方形区域。在执行自适应阈值方法之前，我们需要对图像进行一点模糊处理：

image_gray = cv2.blur(image_gray, (5, 5))
im_th = cv2.adaptiveThreshold(image_gray, 255, 
                              cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
                              cv2.THRESH_BINARY, 115, 1)

kernal = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
im_th = cv2.morphologyEx(im_th, cv2.MORPH_OPEN, kernal, iterations=3)

在OpenCV中使用轮廓检测​​来找到所有可能的区域：

_, contours, _ = cv2.findContours(im_th.copy(), cv2.RETR_LIST, 
                                  cv2.CHAIN_APPROX_SIMPLE)

contours = sorted(contours, key=cv2.contourArea, reverse=True)
contours.remove(contours[0])  #remove the biggest contour

最后，尝试根据高度和宽度的比率找到潜在的正方形区域：

square_rects = []
square_areas = []
for i, cnt in enumerate(contours):
    (x, y, w, h) = cv2.boundingRect(cnt)
    ar = w / float(h)
    if 0.9 < ar < 1.1:
        square_rects.append(((x,y), (x+w, y+h)))
        square_areas.append(w*h)  #store area information

我们需要执行以下操作，从列表中删除所有太小的内容：

import statistics
median_size_limit= statistics.median(square_areas) * 0.8
square_rects = [rect for i, rect in enumerate(square_rects)
                    if square_areas[i] > median_size_limit]

您可以通过在原始图像上绘制所有矩形来直观地检查输出：

for rect in square_rects:
    cv2.rectangle(image, rect[0], rect[1], (0,255,0), 2)

cv2.imwrite("_output_image.png", image)

cv2.imshow("image", image)
cv2.waitKey()

您可以使用“ square_rects”找到所有正方形，并从原始图像中裁剪它们。

以下是最终结果的预览。

干杯。