Question

我已经能够找到/创建一些代码，允许我从支持OpenNI的摄像机打开深度和颜色流（具体是Orbbec Astra S）。除了与标准的OpenNI Viewer不同，My stream将最近的点显示为最暗的点，并将其他点作为较浅的颜色显示。

我如何能够改变这一点，使得最靠近摄像机的点显示为较亮（白色），而更远的点显示为黑暗？

#include "stdafx.h"
#include "OpenNI.h" 
#include <iostream>
#include <iomanip>
#include <fstream>
#include <string>
#include <array>
// OpenCV Header
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/calib3d/calib3d.hpp>

using namespace std;
using namespace cv;
using namespace openni;

//Recorder

int main(int argc, char** argv)
{
    Device device;
    VideoStream DepthStream,ColorStream;
    VideoFrameRef DepthFrameRead,ColorFrameRead;

    const char* deviceURI = openni::ANY_DEVICE;
    if (argc > 1)
    {
        deviceURI = argv[1];
    }

    Status result = STATUS_OK;
    result = OpenNI::initialize();
    result = device.open(deviceURI);
    result = DepthStream.create(device, openni::SENSOR_DEPTH);
    result = DepthStream.start();
    result = ColorStream.create(device, openni::SENSOR_COLOR);
    result = ColorStream.start();

       device.setImageRegistrationMode(ImageRegistrationMode::IMAGE_REGISTRATION_DEPTH_TO_COLOR);

    int framenum = 0;
    Mat frame;
    while (true)
    {
        if (DepthStream.readFrame(&DepthFrameRead) == STATUS_OK)
        {
            cv::Mat cDepthImg(DepthFrameRead.getHeight(), DepthFrameRead.getWidth(),
                CV_16UC1, (void*)DepthFrameRead.getData());

            cv::Mat c8BitDepth;
            cDepthImg.convertTo(c8BitDepth, CV_8U, 255.0 / (8000));
            cv::imshow("Orbbec", c8BitDepth);

        }

        if (ColorStream.readFrame(&ColorFrameRead) == STATUS_OK)
        {
            ColorStream.readFrame(&ColorFrameRead);
            const openni::RGB888Pixel* imageBuffer = (const openni::RGB888Pixel*)ColorFrameRead.getData();

            frame.create(ColorFrameRead.getHeight(), ColorFrameRead.getWidth(), CV_8UC3);
            memcpy(frame.data, imageBuffer, 3 * ColorFrameRead.getHeight()*ColorFrameRead.getWidth() * sizeof(uint8_t));

            cv::cvtColor(frame, frame, CV_BGR2RGB); //this will put colors right
            cv::imshow("frame", frame);
            framenum++;
        }

        if (cvWaitKey(30) >= 0)
        {
            break;
        }
    }
    DepthStream.destroy();
    ColorStream.destroy();
    device.close();
    OpenNI::shutdown();
    return 0;
}

------------------- EDIT -------------------

这些图像最初是作为16位图像读取的，看起来像这样（注意它有多暗）：

但转换为8位图像后，它们看起来如下：

Answer 1

您附加的图像显示传感器正在捕获数据，直接编码深度中对象的距离（以mm为单位）。对于这种深度相机来说这是很正常的。我们想要显示的是更接近传感器的对象的更高值（这与深度图像编码完全相反，但对于显示非常有用）。

如果已知传感器的工作范围，可以设计一个简单的深度调节功能。对于Astra S，运行范围为0.35m to 2.5m。所以我们现在想要的是一个转换0.35m - >的功能。 2.5米和2.5米 - > 0.35米。

这非常简单，唯一需要注意的是你必须自己处理无效深度像素（深度== 0）。以下是执行此操作的代码：

#include "include\opencv\cv.h"
#include "include\opencv\highgui.h"


cv::Mat adjustDepth(const cv::Mat& inImage)
{
    // from https://orbbec3d.com/product-astra/
    // Astra S has a depth in the range 0.35m to 2.5m
    int maxDepth = 2500; 
    int minDepth = 350; // in mm

    cv::Mat retImage = inImage;

    for(int j = 0; j < retImage.rows; j++)
        for(int i = 0; i < retImage.cols; i++)
        {
            if(retImage.at<ushort>(j, i))
                retImage.at<ushort>(j, i) = maxDepth - (retImage.at<ushort>(j, i) - minDepth);
        }

        return retImage;
}


int main ()
{
    cv::Mat inImage;
    inImage = cv::imread("testImage.png", CV_LOAD_IMAGE_UNCHANGED);

    cv::Mat adjustedDepth = adjustDepth(inImage);
    cv::Mat dispImage;
    adjustedDepth.convertTo(dispImage, CV_8UC1, 255.0f/2500.0f);
    cv::imshow(" ", dispImage);

    //cv::imwrite("testImageAdjusted.png", adjustedDepth);
    //cv::imwrite("savedImage.png", dispImage);

    cv::waitKey(0);
    return 0;
}

这是输出重整化深度图像：

如果想进一步探索这种重新调整功能中发生的事情，可以在应用调整之前和之后查看图像的直方图。

输入深度图像的直方图（D）：

负输入深度图像的直方图（-D）：

（maxVal-（D-minVal））的直方图：

希望这能回答你的问题。

OpenNI深度图像交换深度显示

1 个答案: