Question

我发现了很多关于发现＆＃34;事物的问题。在使用openCV等的图像中。在Python中，但到目前为止，我无法将它们拼凑在一起，以便为我的问题提供可靠的解决方案。

我正在尝试使用计算机视觉来帮助计算微小的表面贴装电子部件。我的想法是将零件转移到一张纯色纸上，拍下一张照片，并让软件告诉我其中有多少物品。

＆＃34;事物＆＃34;不同于一张图片，但在任何一张图片中总是相同的。我似乎能够手动调整特定部件的色调/饱和度等参数，但每次更换新部件时都需要调整。

我目前的半功能代码发布在下面：

import imutils
import numpy
import cv2
import sys

def part_area(contours, round=10):
    """Finds the mode of the contour area.  The idea is that most of the parts in an image will be separated and that
    finding the most common area in the list of areas should provide a reasonable value to approximate by.  The areas
    are rounded to the nearest multiple of 200 to reduce the list of options."""
    # Start with a list of all of the areas for the provided contours.
    areas = [cv2.contourArea(contour) for contour in contours]
    # Determine a threshold for the minimum amount of area as 1% of the overall range.
    threshold = (max(areas) - min(areas)) / 100
    # Trim the list of areas down to only those that exceed the threshold.
    thresholded = [area for area in areas if area > threshold]
    # Round the areas to the nearest value set by the round argument.
    rounded = [int((area + (round / 2)) / round) * round for area in thresholded]
    # Remove any areas that rounded down to zero.
    cleaned = [area for area in rounded if area != 0]
    # Count the areas with the same values.
    counts = {}
    for area in cleaned:
        if area not in counts:
            counts[area] = 0
        counts[area] += 1
    # Reduce the areas down to only those that are in groups of three or more with the same area.
    above = []
    for area, count in counts.iteritems():
        if count > 2:
            for _ in range(count):
                above.append(area)
    # Take the mean of the areas as the average part size.
    average = sum(above) / len(above)
    return average

def find_hue_mode(hsv):
    """Given an HSV image as an input, compute the mode of the list of hue values to find the most common hue in the
    image.  This is used to determine the center for the background color filter."""
    pixels = {}
    for row in hsv:
        for pixel in row:
            hue = pixel[0]
            if hue not in pixels:
                pixels[hue] = 0
            pixels[hue] += 1
    counts = sorted(pixels.keys(), key=lambda key: pixels[key], reverse=True)
    return counts[0]


if __name__ == "__main__":
    # load the image and resize it to a smaller factor so that the shapes can be approximated better
    image = cv2.imread(sys.argv[1])

    # define range of blue color in HSV
    hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
    center = find_hue_mode(hsv)
    print 'Center Hue:', center

    lower = numpy.array([center - 10, 50, 50])
    upper = numpy.array([center + 10, 255, 255])
    # Threshold the HSV image to get only blue colors
    mask = cv2.inRange(hsv, lower, upper)
    inverted = cv2.bitwise_not(mask)

    blurred = cv2.GaussianBlur(inverted, (5, 5), 0)
    edged = cv2.Canny(blurred, 50, 100)
    dilated = cv2.dilate(edged, None, iterations=1)
    eroded = cv2.erode(dilated, None, iterations=1)

    # find contours in the thresholded image and initialize the shape detector
    contours = cv2.findContours(eroded.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    contours = contours[0] if imutils.is_cv2() else contours[1]

    # Compute the area for a single part to use when setting the threshold and calculating the number of parts within
    # a contour area.
    part_area = part_area(contours)
    # The threshold for a part's area - can't be too much smaller than the part itself.
    threshold = part_area * 0.5

    part_count = 0
    for contour in contours:
        if cv2.contourArea(contour) < threshold:
            continue

        # Sometimes parts are close enough together that they become one in the image.  To battle this, the total area
        # of the contour is divided by the area of a part (derived earlier).
        part_count += int((cv2.contourArea(contour) / part_area) + 0.1)  # this 0.1 "rounds up" slightly and was determined empirically

        # Draw an approximate contour around each detected part to give the user an idea of what the tool has computed.
        epsilon = 0.1 * cv2.arcLength(contour, True)
        approx = cv2.approxPolyDP(contour, epsilon, True)
        cv2.drawContours(image, [approx], -1, (0, 255, 0), 2)

    # Print the part count and show off the processed image.
    print 'Part Count:', part_count
    cv2.imshow("Image", image)
    cv2.waitKey(0)

这是我正在使用的输入图像类型的示例：或这个：

我目前正在获得这样的结果：

结果清楚地表明，剧本在识别某些部件时遇到困难，当部件彼此接触时，它的真正致命跟腱就会出现。

所以我的问题/挑战是，我该怎么做才能提高这个脚本的可靠性？

该脚本将集成到现有的Python工具中，因此我正在使用Python搜索解决方案。解决方案不需要是纯Python，因为我愿意安装可能需要的第三方库。

Answer 1

如果对象都是相似的类型，您可能会更成功地隔离图像中的单个示例，然后使用特征匹配来检测它们。

完整的解决方案将超出Stack Overflow的范围，但我对进展的建议是首先找到一个或多个＆＃34;正确＆＃34;使用当前矩形检索方法的示例。您可以查找所有具有预期大小或准确矩形的样本。

一旦您找到了一些正面示例，请使用一些功能匹配技术来查找其他示例。有一个lot of reading up you probably need to do on it，但这是一个潜在的解决方案。

总结一点是，您可以使用正面示例来查找＆＃34;功能＆＃34;您要检测的对象。这些＆＃34;功能＆＃34;通常是角落或渐变的变化。 OpenCV包含许多可以使用的方法。

有了这些功能后，您可以在OpenCV中查看几种算法，搜索图像以查找所有匹配的功能。你会想要一个旋转不变的（可以检测以不同旋转排列的相同特征），但你可能不需要尺度不变（可以在多个尺度上检测相同的特征）。

我对此方法的一个担忧是，您在图片中搜索的项目非常小。可能很难找到匹配的良好，一致的功能。

Answer 2

您正在解决2D对象识别问题，其中有许多可能的方法。你已经开始使用背景/前景分割，这是好的，因为你可以控制场景（放下背景纸张）。然而，当物体接触时，这将始终具有基本限制。解决问题的简单方法是：

1）您认为触摸物体是罕见事件（这是您问题中的一个很好的假设）。因此，您可以计算每个分割区域的面积，并计算这些区域的中位数，这将为对象的区域提供稳健的估计。我们称之为强健估计A（以平方像素为单位）。如果少于50％的区域对应于触摸物体，这将没有问题。

2）然后，您可以继续测量每个分段区域中的对象数量。让Ai成为第i个区域。然后，您可以通过Ni = round（Ai / A）计算每个区域中的对象数。然后你总和Ni给你一个对象的总数。

只要满足以下条件，此方法就可以了： A）触摸物体没有明显重叠 B）你的两侧没有物体。如果你这样做，你可以使用两个区域估计（侧面和平面）来处理这个问题。如果您可以简单，那么最好消除这种情况。 C）物体与相机的距离大致相同。如果不是这种情况，那么对象的区域（以像素为单位）不能通过单个值很好地建模。 D）图像边界处没有部分可见的物体。 E）确保每张图像中只显示相同类型的对象。

如何用Python检测图像中的矩形项

2 个答案: