如何在分水岭分割中添加坐标？

Question

我正在开发一个应用程序，该应用程序可以根据用户在屏幕上绘制的坐标来删除图像的背景。用户在感兴趣的图像周围绘制一个矩形。为此，我使用分水岭来分割图像并从图像中删除背景。但是，我在将坐标插入算法时遇到了麻烦，因此整个背景都被删除了。在下面的图像中，我仅选择4个硬币，在分割之后，我只希望这4个硬币保留在图像中，而其他硬币消失。但是，这不是正在发生的事情。有人可以根据用户传递的区域来帮助我进行此移除细分吗？

代码：

    typealias Coordinates = Pair<Point, Point>    
    private fun extractForegroundFromBackground(coordinates: Coordinates){
    // TODO: Provide complex object that has both path and extension

    val width: Int
    val height: Int
    val rect = Rect(coordinates.first, coordinates.second)
    width = bitmap.getWidth()
    height = bitmap.getHeight()
    val rgba = Mat()
    val gray_mat = Mat()
    val threeChannel = Mat()

    Utils.bitmapToMat(bitmap, gray_mat)

    Imgproc.cvtColor(gray_mat, rgba, Imgproc.COLOR_RGBA2RGB)

    Imgproc.cvtColor(rgba, threeChannel, Imgproc.COLOR_RGB2GRAY)
    Imgproc.threshold(threeChannel, threeChannel, 100.0, 255.0, Imgproc.THRESH_OTSU)

    Imgproc.GaussianBlur(threeChannel, threeChannel, Size(5.0,5.0), 0.0)
    val edges = Mat()
    Imgproc.Canny(threeChannel, edges, 50.0, 200.0)
    val contours: List<MatOfPoint> = ArrayList()
    val hierarchy = Mat()
    Imgproc.findContours(edges, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE)

    val fg = Mat(rgba.size(), CvType.CV_8U)
    Imgproc.erode(threeChannel, fg, Mat(), Point(-1.0, -1.0), 2)

    val bg = Mat(rgba.size(), CvType.CV_8U)
    Imgproc.dilate(threeChannel, bg, Mat(), Point(-1.0, -1.0), 3)
    Imgproc.threshold(bg, bg, 1.0, 127.0, Imgproc.THRESH_BINARY_INV)
    val markers = Mat(rect.size(), CvType.CV_8U, Scalar(0.0))

    val frame = Mat()
    val rectImage = Mat(rgba.size(), CvType.CV_8U)
    Imgproc.rectangle(rectImage, coordinates.first, coordinates.second, Scalar(255.0, 255.0, 255.0), FILLED)
    Log.i("teste,", coordinates.first.toString() + "\n"+ coordinates.second.toString())
    Core.add(fg, bg, markers, rectImage)

    // Start the WaterShed Segmentation :
    val marker_tempo = Mat()
    markers.convertTo(marker_tempo, CvType.CV_32S)

    Imgproc.watershed(rgba, marker_tempo)
    marker_tempo.convertTo(markers, CvType.CV_8U)

    result_Bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565)

    Imgproc.applyColorMap(markers, markers, COLORMAP_BONE)
    Utils.matToBitmap(markers, result_Bitmap)

    image.setImageBitmap(result_Bitmap)

    return currentPhotoPath
}
}

输出：

Answer 1

最简单的方法是将mask参数添加到add方法中。您需要创建image of rectangle rect才能起作用。使用厚度= FILLED绘制填充的矩形。

val rectImage = Mat(rgba.size(), CvType.CV_8U)
Imgproc.rectangle(rectImage, coordinates, Scalar(255, 255, 255), Imgproc.FILLED)

Core.add(fg, bg, markers, rectImage)

---

其他选项

您可以将markers像素的图像乘以矩形图像。将仅保留矩形内硬币的像素。

但是，在这种情况下，您需要确保要复制的图像的范围为[0，1]，但是图像的范围为[0，255]。因此，为了使其正常工作，只需将divide个图像乘以255，然后multiply个图像，最后将multiply个结果乘以255。还有一种方法multiply​(Mat src1, Mat src2, Mat dst, double scale)可以相乘矩阵，然后一次将结果乘以255。

另一种方法是使用bitwise and操作。在这种情况下，您无需转换为[0，1]范围。

val rectImage = Mat(rgba.size(), CvType.CV_8U)
Imgproc.rectangle(rectImage, coordinates, Scalar(255, 255, 255), Imgproc.FILLED)

val clippedMarkers = Mat(rgba.size(), CvType.CV_8U)
Core.bitwise_and(markers, rectImage, clippedMarkers)

另一种选择是使用copyTo​方法。它以mask作为第三个参数。

val rectImage = Mat(rgba.size(), CvType.CV_8U)
Imgproc.rectangle(rectImage, coordinates, Scalar(255, 255, 255), Imgproc.FILLED)

val clippedMarkers = Mat(rgba.size(), CvType.CV_8U)
Core.copyTo(markers, clippedMarkers, rectImage)