Question

我正在尝试使用描述here的方法来修复深度图的缺失深度值。总结方法：

将深度贴图缩小为原始尺寸的20％
缩小缩小图像中的所有黑色（未知）像素
升迁至原始尺寸
将原始图像中的所有黑色像素替换为升迁图像中的相应值

超级简单，一切运作良好。可以找到显示结果的视频here。

但是，我想知道为什么左边和上边的图像边框仍然是黑色的，尽管它们应该被修复（可以在视频中看到）。我的第一个想法是，这可能需要对边界插值（图像边界外的黑色像素）做一些事情，但是我预计这也会发生在其他图像边界上。我的第二个想法是它是使用的修复方法（Alexandru Telea的方法）特有的东西，但是将它改为基于Navier-Stokes的方法并没有改变结果。

有人可以向我解释为什么会发生这种情况，以及如果可能的话，如何告诉OpenCV还要修复这些区域？

提前致谢。

Answer 1

@theodore在http://answers.opencv.org/question/86569/inpainting-depth-map-still-black-image-borders/?comment=86587#comment-86587中询问后，我使用了样本图像来测试inpaint行为。看起来它没有正确处理边框，因此可以使用cv::copyMakeBorder创建边框。

以下是带有某种单元测试的扩展版本：

int main(int argc, char* argv[])
{
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png");
    cv::Mat img;
    cv::cvtColor(input, img, CV_BGR2GRAY);

    cv::Mat inpainted;
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)


    double inpaintRadius = 5;
    int makeBorder = 1;
    cv::Mat borderimg;
    cv::copyMakeBorder(img, borderimg, makeBorder, makeBorder, makeBorder, makeBorder, cv::BORDER_REPLICATE);
    cv::imshow("border", borderimg);
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    cv::Mat originalEmbedded = borderimg(cv::Rect(makeBorder, makeBorder, img.cols, img.rows));
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorder, makeBorder, img.cols, img.rows));


    cv::Mat diffImage;
    cv::absdiff(img, originalEmbedded, diffImage);
    cv::imshow("embedding correct?", diffImage > 0);

    cv::Mat mask = img == noDepth;
    cv::imshow("mask", mask);


    cv::imshow("input", input);
    cv::imshow("inpainted", inpainted);
    cv::imshow("inpainted from border", inpaintedEmbedded);
    cv::waitKey(0);
    return 0;
}

如果您认为它是正确的，那么这是简化版本：

int main(int argc, char* argv[])
{
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png");
    cv::Mat img;
    cv::cvtColor(input, img, CV_BGR2GRAY);

    cv::Mat inpainted;
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    double inpaintRadius = 5;
    int makeBorderSize = 1;
    cv::Mat borderimg;
    //cv::copyMakeBorder(img, borderimg, borderSize, borderSize, borderSize, borderSize, cv::BORDER_REPLICATE);
    cv::copyMakeBorder(img, borderimg, makeBorderSize, makeBorderSize, makeBorderSize, makeBorderSize, cv::BORDER_REPLICATE);
    //cv::imshow("border", borderimg);
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots)

    // extract the original area without border:
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorderSize, makeBorderSize, img.cols, img.rows));



    cv::imshow("input", input);
    cv::imshow("inpainted from border", inpaintedEmbedded);
    cv::waitKey(0);
    return 0;
}

这是输入：

这是带边框的输入（borderize 5可以更好地显示效果）：

这是输出：

修复深度图，仍然是黑色图像边框

1 个答案: