检测图像中的乐高底板

Question

我想让我的代码在附图中找到方形乐高版的角落。

我也想找到它的尺寸，即＆＃34; blops＆＃34;两个维度（附图中48x48）。

我目前正在考虑检测个体＆＃34; blops＆＃34;，到目前为止结果非常好：模糊，adaptiveThreshold，findContours和基于区域的选择的组合找到在第二个连接中呈现的轮廓图像（着色是随机的）。

我现在正在寻找一种算法来找到＆＃34;网格＆＃34;这些轮廓（或他们的中点）失去了代表，但我缺乏谷歌。有任何想法吗？

（对不同方法的建议也非常受欢迎。）

（示例图像显示了放置在角落的砖块 - 如果有帮助的话，算法可以期待这个。）

（样本图片背景相当狂野。如果可能的话，我更愿意应对这种情况。）

2016年7月8日更新：我试图编写一种算法，查找相邻轮廓的条纹形成线条。算法应该能够找到其中的一些，并从中推断整个板块的形式，即使是透视。如果有效则会更新...

2017年12月更新：上述算法有点奏效，虽然有点太不可预测了。此外，我也遇到了透视问题（添加了＃34;厚厚的＆＃34; lego砖改变了表面）和颜色识别（阴影，相机特性等）。这项努力暂时搁置。如果我恢复它，我将尝试使用固定的摄像机位置直接在板上方和一致的灯光。

Answer 1

这是一种使用颜色阈值的潜在方法。想法是在假设底板为灰色的情况下，使用上下限将图像转换为HSV格式，然后将其转换为颜色阈值。这将为我们提供蒙版图像。从这里开始，我们进行变形以消除噪声，找到轮廓并为最大轮廓排序。接下来，我们获得旋转的边界框坐标，并将其绘制到新的空白蒙版上。最后，我们按位运算-然后使用带有输入图像的蒙版获得结果。要找到角坐标，我们可以使用cv2.goodFeaturesToTrack()在遮罩上找到点。看看how to find accurate corner positions of a distorted rectangle from blurry image in python?和Shi-Tomasi Corner Detector & Good Features to Track了解更多详情

---

以下是每个步骤的可视化结果：

我们加载图像，转换为HSV格式，定义一个上下限，并使用cv2.inRange()进行颜色阈值处理

import cv2
import numpy as np

# Load image, convert to HSV, and color threshold
image = cv2.imread('1.png')
blank_mask = np.zeros(image.shape, dtype=np.uint8)
original = image.copy()
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([0, 0, 109])
upper = np.array([179, 36, 255])
mask = cv2.inRange(hsv, lower, upper)

接下来，我们使用cv2.getStructuringElement()创建一个矩形核，并使用cv2.morphologyEx()执行形态运算。此步骤将去除小的噪音颗粒。

# Morph open to remove noise
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
opening = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)

从这里，我们使用cv2.findContours()在遮罩上找到轮廓，并使用轮廓区域进行滤波以获得最大轮廓。然后，我们使用cv2.minAreaRect()和cv2.boxPoints()获得旋转的绑定框坐标，然后使用cv2.fillPoly()将其绘制到新的空白蒙版上。此步骤为我们提供了“完美”的底板外轮廓。这是检测到的外部轮廓，突出显示为绿色，并显示了蒙版。

# Find contours and sort for largest contour
cnts = cv2.findContours(opening, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# Obtain rotated bounding box and draw onto a blank mask
rect = cv2.minAreaRect(cnts)
box = cv2.boxPoints(rect)
box = np.int0(box)
cv2.drawContours(image,[box],0,(36,255,12),3)
cv2.fillPoly(blank_mask, [box], (255,255,255))

最后，我们按位运算-然后使用原始输入图像的蒙版获得结果。根据需要，可以将背景更改为黑色或白色。

# Bitwise-and mask with input image 
blank_mask = cv2.cvtColor(blank_mask, cv2.COLOR_BGR2GRAY)
result = cv2.bitwise_and(original, original, mask=blank_mask)
# result[blank_mask==0] = (255,255,255) # Color background white

要检测拐角坐标，我们可以使用cv2.goodFeaturesToTrack()。这是检测到的角落，以紫色突出显示：

坐标：

(91.0, 525.0)
(463.0, 497.0)
(64.0, 152.0)
(436.0, 125.0)

# Detect corners
corners = cv2.goodFeaturesToTrack(blank_mask, maxCorners=4, qualityLevel=0.5, minDistance=150)
for corner in corners:
    x,y = corner.ravel()
    cv2.circle(image,(x,y),8,(155,20,255),-1)
    print("({}, {})".format(x,y))

完整代码

import cv2
import numpy as np

# Load image, convert to HSV, and color threshold
image = cv2.imread('1.png')
blank_mask = np.zeros(image.shape, dtype=np.uint8)
original = image.copy()
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([0, 0, 109])
upper = np.array([179, 36, 255])
mask = cv2.inRange(hsv, lower, upper)

# Morph open to remove noise
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
opening = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)

# Find contours and sort for largest contour
cnts = cv2.findContours(opening, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# Obtain rotated bounding box and draw onto a blank mask
rect = cv2.minAreaRect(cnts)
box = cv2.boxPoints(rect)
box = np.int0(box)
cv2.drawContours(image,[box],0,(36,255,12),3)
cv2.fillPoly(blank_mask, [box], (255,255,255))

# Bitwise-and mask with input image 
blank_mask = cv2.cvtColor(blank_mask, cv2.COLOR_BGR2GRAY)
result = cv2.bitwise_and(original, original, mask=blank_mask)
result[blank_mask==0] = (255,255,255) # Color background white

# Detect corners
corners = cv2.goodFeaturesToTrack(blank_mask, maxCorners=4, qualityLevel=0.5, minDistance=150)
for corner in corners:
    x,y = corner.ravel()
    cv2.circle(image,(x,y),8,(155,20,255),-1)
    print("({}, {})".format(x,y))

cv2.imwrite('mask.png', mask)
cv2.imwrite('opening.png', opening)
cv2.imwrite('blank_mask.png', blank_mask)
cv2.imwrite('image.png', image)
cv2.imwrite('result.png', result)
cv2.waitKey()