当我们在OpenCV中有深度和rgb Mat时如何显示3D图像（从Kinect捕获）

时间：2015-03-26 03:23:16

标签： opencv opengl kinect openni point-cloud-library

我们使用Kinect和OpenNI Library捕获了一个3D图像，并使用此代码以OpenCV Mat的形式获得了rgb和深度图像。

    main()
{
    OpenNI::initialize();
    puts( "Kinect initialization..." );
    Device device;
    if ( device.open( openni::ANY_DEVICE ) != 0 )
    {
        puts( "Kinect not found !" ); 
        return -1;
    }
    puts( "Kinect opened" );
    VideoStream depth, color;
    color.create( device, SENSOR_COLOR );
    color.start();
    puts( "Camera ok" );
    depth.create( device, SENSOR_DEPTH );
    depth.start();
    puts( "Depth sensor ok" );
    VideoMode paramvideo;
    paramvideo.setResolution( 640, 480 );
    paramvideo.setFps( 30 );
    paramvideo.setPixelFormat( PIXEL_FORMAT_DEPTH_100_UM );
    depth.setVideoMode( paramvideo );
    paramvideo.setPixelFormat( PIXEL_FORMAT_RGB888 );
    color.setVideoMode( paramvideo );
    puts( "Réglages des flux vidéos ok" );

    // If the depth/color synchronisation is not necessary, start is faster :
    //device.setDepthColorSyncEnabled( false );

    // Otherwise, the streams can be synchronized with a reception in the order of our choice :
    device.setDepthColorSyncEnabled( true );
    device.setImageRegistrationMode( openni::IMAGE_REGISTRATION_DEPTH_TO_COLOR );

    VideoStream** stream = new VideoStream*[2];
    stream[0] = &depth;
    stream[1] = &color;
    puts( "Kinect initialization completed" );


    if ( device.getSensorInfo( SENSOR_DEPTH ) != NULL )
    {
        VideoFrameRef depthFrame, colorFrame;
        cv::Mat colorcv( cv::Size( 640, 480 ), CV_8UC3, NULL );
        cv::Mat depthcv( cv::Size( 640, 480 ), CV_16UC1, NULL );
        cv::namedWindow( "RGB", CV_WINDOW_AUTOSIZE );
        cv::namedWindow( "Depth", CV_WINDOW_AUTOSIZE );

        int changedIndex;
        while( device.isValid() )
        {
            OpenNI::waitForAnyStream( stream, 2, &changedIndex );
            switch ( changedIndex )
            {
                case 0:
                    depth.readFrame( &depthFrame );

                    if ( depthFrame.isValid() )
                    {
                        depthcv.data = (uchar*) depthFrame.getData();
                        cv::imshow( "Depth", depthcv );
                    }
                    break;

                case 1:
                    color.readFrame( &colorFrame );

                    if ( colorFrame.isValid() )
                    {
                        colorcv.data = (uchar*) colorFrame.getData();
                        cv::cvtColor( colorcv, colorcv, CV_BGR2RGB );
                        cv::imshow( "RGB", colorcv );
                    }
                    break;

                default:
                    puts( "Error retrieving a stream" );
            }
            cv::waitKey( 1 );
        }

        cv::destroyWindow( "RGB" );
        cv::destroyWindow( "Depth" );
    }
    depth.stop();
    depth.destroy();
    color.stop();
    color.destroy();
    device.close();
    OpenNI::shutdown();
}

我们在上面添加了一些代码并从中获取了RGB和深度Mat，并使用OpenCV处理了RGB。

现在我们需要以3D形式显示该图像。

我们正在使用：

1）Windows 8 x64

2）Visual Studio 2012 x64

3）OpenCV 2.4.10

4）OpenNI 2.2.0.33

5）Kinect1

6）Kinect SDK 1.8.0

问题： -

1）我们可以使用OpenCV直接显示此图像，还是需要任何外部库？

2）如果我们需要使用外部库，哪一个更适合这个简单的任务OpenGL，PCL或任何其他？

3）PCL是否支持Visual Studio 12和OpenNI2以及PCL自带其他版本的OpenNI这两个版本是否存在冲突？

2 个答案:

答案 0 :(得分：6)

为了改善南极人的答案， 要以3D显示图像，您需要先创建点云... RGB和深度图像为您提供创建有组织的彩色pointcloud所需的数据。为此，您需要计算每个点的x，y，z值。 z值来自深度像素，但必须计算x和y。

要做到这一点，你可以这样做：

void Viewer::get_pcl(cv::Mat& color_mat, cv::Mat& depth_mat, pcl::PointCloud<pcl::PointXYZRGBA>& cloud ){
    float x,y,z;

    for (int j = 0; j< depth_mat.rows; j ++){
        for(int i = 0; i < depth_mat.cols; i++){
            // the RGB data is created
            PCD_BGRA   pcd_BGRA;
                       pcd_BGRA.B  = color_mat.at<cv::Vec3b>(j,i)[0];
                       pcd_BGRA.R  = color_mat.at<cv::Vec3b>(j,i)[2];
                       pcd_BGRA.G  = color_mat.at<cv::Vec3b>(j,i)[1];
                       pcd_BGRA.A  = 0;

            pcl::PointXYZRGBA vertex;
            int depth_value = (int) depth_mat.at<unsigned short>(j,i);
            // find the world coordinates
            openni::CoordinateConverter::convertDepthToWorld(depth, i, j, (openni::DepthPixel) depth_mat.at<unsigned short>(j,i), &x, &y,&z );

            // the point is created with depth and color data
            if ( limitx_min <= i && limitx_max >=i && limity_min <= j && limity_max >= j && depth_value != 0 && depth_value <= limitz_max && depth_value >= limitz_min){
                vertex.x   = (float) x;
                vertex.y   = (float) y;
                vertex.z   = (float) depth_value;
            } else {
                // if the data is outside the boundaries
                vertex.x   = bad_point;
                vertex.y   = bad_point;
                vertex.z   = bad_point;
            }
            vertex.rgb = pcd_BGRA.RGB_float;

            // the point is pushed back in the cloud
            cloud.points.push_back( vertex );
        }
    }
}

和PCD_BGRA是

union PCD_BGRA
{
    struct
    {
        uchar B; // LSB
        uchar G; // ---
        uchar R; // MSB
        uchar A; //
    };
    float RGB_float;
    uint  RGB_uint;
};

当然，这是针对您想要使用PCL的情况，但它或多或少是x，y，z值的计算结果。这取决于openni::CoordinateConverter::convertDepthToWorld在3D中找到点的位置。您也可以手动执行此操作

 const float invfocalLength = 1.f / 525.f;
 const float centerX = 319.5f;
 const float centerY = 239.5f;
 const float factor = 1.f / 1000.f;

 float dist = factor * (float)(*depthdata);
 p.x = (x-centerX) * dist * invfocalLength;
 p.y = (y-centerY) * dist * invfocalLength;
 p.z = dist;

其中centerX，centerY和focallength是相机的固有校准（这个是Kinect）。以及如果你需要以米或毫米为单位的距离的因素...这个值取决于你的程序

问题：

  1. 是的，您可以使用最新的OpenCV viz class或其他适合您需求的外部库来显示它。
  2. OpenGl很不错，但如果您不知道如何使用PCL（或OpenCV），我会更容易使用（我的意思是显示点云）
  3. 我还没有在windows中使用它，但理论上它可以用于visual studio 2012.据我所知，PCL包含的版本是OpenNI 1，它不会影响OpenNI2 ...

答案 1 :(得分：5)

我还没有通过OpenNI和OpenCV做到这一点，但我希望我能帮到你。首先回答你的前两个问题：

  1. 可能是的，据我所知，你想要想象一个3D点云。 OpenCV只是一个图像处理库，你需要一个3D渲染库来做你想做的事。
  2. 我使用OpenSceneGraph并推荐它。但是，您也可以使用OpenGL或Direct X。

    3. 如果您只想显示点云，例如＆＃34; 3D视图＆＃34;在Kinect Studio中，您不需要PCL，因为这对于这项简单的工作来说太过分了。

    执行此任务的基本思想是创建3D四边形，使其与图像上的像素数相同。例如，如果您的分辨率为640x480，则需要640 * 480个四边形。每个四边形将具有相应像素的颜色，这取决于来自彩色图像的像素值。然后，您将在Z轴上来回移动这些四边形，具体取决于深度图像的值。这可以通过现代OpenGL完成，或者如果您对C ++，OpenSceneGraph（也基于OpenGL）感觉更舒服。

    你必须小心两件事：

    1. 即使在现代计算机上，绘制如此多的四边形也会很慢。你需要阅读＆＃34;实例渲染＆＃34;在单个GPU绘制调用中渲染对象的大量实例（在我们的示例中为四边形）。这可以使用顶点着色器完成。
    2. 由于Kinect的RGB和深度相机具有不同的物理位置，因此您需要校准它们。官方Kinect SDK中有一些功能，但我不了解OpenNI。

      3. 如果您决定使用OpenGL执行此操作，我建议您阅读有关GPU管道的内容，如果您不熟悉它。这将有助于您在使用顶点着色器时节省大量时间。

相关问题
最新问题