Question

我有一组图像，所有图像看起来都像这里的叶子：

我想从背景中提取叶子，为此我使用了here的GrabCut算法。

作为一种不同的方法，我还基于r，g和b值的比率使用阈值，如下所示：

import numpy as np
import cv2
import matplotlib.pyplot as plt

testImg = cv2.imread('path_to_the_image')
testImg = cv2.resize(testImg, (256, 256))
#bgImg = cv2.imread('')
#blurBg = cv2.GaussianBlur(bgImg, (5, 5), 0)
#blurBg = cv2.resize(blurBg, (256, 256))

#testImg = cv2.GaussianBlur(testImg, (5, 5), 0)
cv2.imshow('testImg', testImg)
#plt.imshow(bgImg)
cv2.waitKey(0)
#plt.show()

modiImg = testImg.copy()    
ht, wd = modiImg.shape[:2]

print(modiImg[0][0][0])

for i in range(ht):
    for j in range(wd):
        r = modiImg[i][j][0]
        g = modiImg[i][j][1]
        b = modiImg[i][j][2]

        r1 = r/g
        r2 = g/b
        r3 = r/b

        r4 = round((r1+r2+r3)/3, 1)

        if g > r and g > b:
            modiImg[i][j] = [255, 255, 255]
        elif r4 >= 1.2:
            modiImg[i][j] = [255, 255, 255]
        else:
            modiImg[i][j] = [0, 0, 0]

        # if r4 <= 1.1:
        #   modiImg[i][j] = [0, 0, 0]
        # elif g > r and g > b:
        #   modiImg[i][j] = [255, 255, 255]
        # else:
        #   modiImg[i][j] = [255, 255, 255]
        # elif r4 >= 1.2:
        #   modiImg[i][j] = [255, 255, 255]
        # else:
        #   modiImg[i][j] = [0, 0, 0]


plt.imshow(modiImg)
plt.show()

testImg = testImg.astype(float)

alpha = modiImg.astype(float) / 255

testImg = cv2.multiply(alpha, testImg)                

cv2.imshow('final', testImg/255)
cv2.waitKey(0)

但是在提取的叶子图像中，叶子上的黑点总是消失了，如下所示：

还有其他方法可以将叶子与背景分开吗，假设每个图像只有一片叶子，并且我拥有的其他图像和叶子的背景几乎都是相同的。与此处的位置类似。

几乎

Answer 1

您可以尝试使用HSV颜色图进行图像分割。

代码：

img =  cv2.imread('leaf.jpg')
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# find the green color 
mask_green = cv2.inRange(hsv, (36,0,0), (86,255,255))
# find the brown color
mask_brown = cv2.inRange(hsv, (8, 60, 20), (30, 255, 200))
# find the yellow color in the leaf
mask_yellow = cv2.inRange(hsv, (21, 39, 64), (40, 255, 255))

# find any of the three colors(green or brown or yellow) in the image
mask = cv2.bitwise_or(mask_green, mask_brown)
mask = cv2.bitwise_or(mask, mask_yellow)

# Bitwise-AND mask and original image
res = cv2.bitwise_and(img,img, mask= mask)

cv2.imshow("original", img)
cv2.imshow("final image", res)
cv2.waitKey(0)
cv2.destroyAllWindows()

输出：

此外，如果将黄色的较低范围从(21, 39, 64)更改为(14, 39, 64)，则您将看到叶子上出现的小黑点开始填充，并且将进一步改善效果。

Answer 2

您可能想使用深度学习方法。 U-Net在诸如https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/之类的任务上做得很好。如我所见，它们还提供了训练有素的模型。如果您已安装Matlab和Caffee，则应该能够将文件复制到正确的文件夹中，运行该程序并获得所需的结果。

阈值对于这种任务不是一个好主意。您的方法应该能够识别图案，而不仅仅是查看像素的颜色。

深度学习方法存在一个难题，即您需要一个预先训练好的网络，该网络已经训练了叶的RBG图像的分割，或者您需要数据（叶的RGB图像和相应的分割）。

将树叶与背景分开

2 个答案: