删除图像中虚假的小噪声岛 - Python OpenCV

Question

我试图摆脱一些图像背景噪音。这是未经过滤的图像。

要进行过滤，我使用此代码生成应保留在图像中的掩码：

 element = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
 mask = cv2.erode(mask, element, iterations = 1)
 mask = cv2.dilate(mask, element, iterations = 1)
 mask = cv2.erode(mask, element)

使用此代码，当我从原始图像中屏蔽掉不需要的像素时，我得到的是：

正如你所看到的，中间区域的所有小点都消失了，但很多来自密集区域的小点也消失了。为了减少过滤，我尝试将getStructuringElement()的第二个参数更改为（1,1），但这样做会给我第一个图像，就像没有过滤任何内容一样。

有什么方法可以应用这两个极端之间的过滤器吗？

此外，任何人都可以向我解释getStructuringElement()究竟做了什么？什么是“结构元素”？它做了什么以及它的大小（第二个参数）如何影响过滤水平？

Answer 1

你的很多问题源于你不确定形态图像处理是如何工作的，但我们可以让你的疑虑得到休息。您可以将结构元素解释为＆＃34;基本形状＆＃34;比较。结构元素中的1对应于您要在此形状中查看的像素，0是您要忽略的像素。有不同的形状，如矩形（如你所知MORPH_RECT），椭圆，圆形等。

因此，cv2.getStructuringElement会为您返回一个结构元素。第一个参数指定所需的类型，第二个参数指定所需的大小。在你的情况下，你想要一个2 x 2＆＃34;矩形＆＃34; ...这实际上是一个正方形，但没关系。

在更加卑鄙的意义上，您使用结构元素并从图像的左侧到右侧以及从上到下进行扫描，并抓取像素邻域。每个像素邻域的中心都恰好位于您正在查看的感兴趣像素上。每个像素邻域的大小与结构元素的大小相同。

侵蚀

对于侵蚀，您会检查像素邻域中与结构元素接触的所有像素。如果每个非零像素正在触摸1的结构化元素像素，则相对于输入的相应中心位置的输出像素为1.如果存在至少一个非零像素不触摸1的结构化像素，然后输出为0.

就矩形结构元素而言，您需要确保结构元素中的每个像素都接触图像中的非零像素，以用于像素邻域。如果不是，那么输出为0，否则为1.这有效地消除了小的杂散噪声区域，并且还略微减小了对象的面积。

尺寸因子中矩形越大，执行的收缩越多。结构元素的大小是一个基线，其中任何小于此矩形结构元素的对象，您可以将它们视为已过滤而不出现在输出中。基本上，选择1 x 1矩形结构元素与输入图像本身相同，因为该结构元素适合其中的所有像素，因为像素是图像中可能的信息的最小表示。

扩张

膨胀与侵蚀相反。如果至少有一个非零像素接触结构元素中的像素为1，则输出为1，否则输出为0.您可以将此视为略微扩大的对象区域并使小岛变大。

这里对大小的影响是结构元素越大，对象的面积就越大，孤立的岛就越大。

你正在做的是先侵蚀，然后是扩张。这就是所谓的开放操作。此操作的目的是在（尝试）维护图像中较大对象的区域时去除小的噪声岛。侵蚀会消除这些岛屿，而扩张会使较大的物体恢复到原来的大小。

你出于某种原因再次受到侵蚀，我无法理解，但那没关系。

我个人会做的是首先执行关闭操作，这是一种扩张，然后是侵蚀。关闭有助于将靠近的区域分组为单个对象。因此，您会看到在我们执行任何其他操作之前，可能会有一些较大的区域彼此接近。因此，我会首先关闭，然后执行打开，以便我们可以删除孤立的噪音区域。请注意，我要使结束元素大小更大，因为我想确保我得到附近的像素和开放结构元素大小更小，以便我不想错误地删除任何较大的区域。

一旦你这样做，我会用原始图像掩盖任何额外的信息，这样你就可以在较小的岛屿消失时保留较大的区域。

使用cv2.morphologyEx，而不是链接侵蚀，然后是扩张，或扩张，然后使用cv::Mat::setTo，您可以指定MORPH_OPEN和MORPH_CLOSE作为标记。

因此，我个人会这样做，假设您的图像被称为spots.png：

import cv2
import numpy as np

img = cv2.imread('spots.png')
img_bw = 255*(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) > 5).astype('uint8')

se1 = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
se2 = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
mask = cv2.morphologyEx(img_bw, cv2.MORPH_CLOSE, se1)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, se2)

mask = np.dstack([mask, mask, mask]) / 255
out = img * mask

cv2.imshow('Output', out)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out)

上面的代码非常明显。首先，我读入图像，然后将图像转换为灰度和阈值，强度为5，以创建被视为对象像素的蒙版。这是一个相当干净的图像，因此任何大于5的图像似乎都有效。对于形态学例程，我需要将图像转换为uint8并将蒙版缩放到255.接下来，我们创建两个结构元素 - 一个是关闭操作的5 x 5矩形，另一个是2 x 2为开启操作。我在阈值图像上分别对开始和结束操作运行cv2.morphologyEx两次。

一旦我这样做，我会叠加蒙版，使其成为一个3D矩阵并除以255，使其成为[0,1]的蒙版，然后我们将此蒙版与原始图像相乘，以便我们可以抓住图像的原始像素返回并保持蒙版输出中被视为真实对象的内容。

其余的只是为了说明。我在窗口中显示图像，并且还将图像保存到名为output.png的文件中，其目的是向您显示此帖子中图像的外观。

我明白了：

请记住，它并不完美，但它比以前更好。你必须使用结构元素大小来获得你认为是一个好输出的东西，但这肯定足以让你开始。祝你好运！

C ++版

有些请求将我上面编写的代码翻译成使用OpenCV的C ++版本。我终于开始编写代码的C ++版本，并且已经在OpenCV 3.1.0上进行了测试。这个代码如下。如您所见，代码与Python版本中的代码非常相似。但是，我在原始图像的副本上使用了{{3}}，并将不是最终掩码的一部分设置为0.这与在Python中执行逐元素乘法相同。

#include <opencv2/opencv.hpp>

using namespace cv;

int main(int argc, char *argv[])
{
    // Read in the image
    Mat img = imread("spots.png", CV_LOAD_IMAGE_COLOR);

    // Convert to black and white
    Mat img_bw;
    cvtColor(img, img_bw, COLOR_BGR2GRAY);
    img_bw = img_bw > 5;

    // Define the structuring elements
    Mat se1 = getStructuringElement(MORPH_RECT, Size(5, 5));
    Mat se2 = getStructuringElement(MORPH_RECT, Size(2, 2));

    // Perform closing then opening
    Mat mask;
    morphologyEx(img_bw, mask, MORPH_CLOSE, se1);
    morphologyEx(mask, mask, MORPH_OPEN, se2);

    // Filter the output
    Mat out = img.clone();
    out.setTo(Scalar(0), mask == 0);

    // Show image and save
    namedWindow("Output", WINDOW_NORMAL);
    imshow("Output", out);
    waitKey(0);
    destroyWindow("Output");
    imwrite("output.png", out);
}

结果应与Python版本中的结果相同。

Answer 2

还可以使用skimage中的remove_small_objects功能删除小的像素簇：

import matplotlib.pyplot as plt
from skimage import morphology
import numpy as np
import skimage

# read the image, grayscale it, binarize it, then remove small pixel clusters
im = plt.imread('spots.png')
grayscale = skimage.color.rgb2gray(im)
binarized = np.where(grayscale>0.1, 1, 0)
processed = morphology.remove_small_objects(binarized.astype(bool), min_size=2, connectivity=2).astype(int)

# black out pixels
mask_x, mask_y = np.where(processed == 0)
im[mask_x, mask_y, :3] = 0

# plot the result
plt.figure(figsize=(10,10))
plt.imshow(im)

这将显示：

要仅保留较大的群集，请尝试增加min_size（保留的群集的最小大小）和减小connectivity（形成群集时的像素邻域的大小）。仅使用这两个参数，一个就只能保留适当大小的像素簇。