Question

我有一个虚拟扫描仪，根据摄像机位置生成点云的2.5维视图（即3D点云的2D投影）。我使用vtkCamera.GetProjectionTransformMatrix()从世界/全局到相机坐标获取变换矩阵。

但是，如果输入点云有点的颜色信息，我想保留它。

以下是相关部分：

boost::shared_ptr<pcl::visualization::PCLVisualizer> vis; // camera location, viewpoint and up direction for vis were already defined before
vtkSmartPointer<vtkRendererCollection> rens = vis->getRendererCollection();
vtkSmartPointer<vtkRenderWindow> win = vis->getRenderWindow();

win->SetSize(xres, yres); // xres and yres are predefined resolutions
win->Render();

float dwidth = 2.0f / float(xres),
    dheight = 2.0f / float(yres);

float *depth = new float[xres * yres];
win->GetZbufferData(0, 0, xres - 1, yres - 1, &(depth[0]));

vtkRenderer *ren = rens->GetFirstRenderer();
vtkCamera *camera = ren->GetActiveCamera();
vtkSmartPointer<vtkMatrix4x4> projection_transform = camera->GetProjectionTransformMatrix(ren->GetTiledAspectRatio(), 0, 1);

Eigen::Matrix4f mat1;
for (int i = 0; i < 4; ++i)
    for (int j = 0; j < 4; ++j)
        mat1(i, j) = static_cast<float> (projection_transform->Element[i][j]);

mat1 = mat1.inverse().eval();

现在，mat1用于将坐标转换为摄像机视图：

pcl::PointCloud<pcl::PointXYZ>::Ptr &cloud;

int ptr = 0;
for (int y = 0; y < yres; ++y)
{
    for (int x = 0; x < xres; ++x, ++ptr)
    {
        pcl::PointXYZ &pt = (*cloud)[ptr];

        if (depth[ptr] == 1.0)
        {
            pt.x = pt.y = pt.z = std::numeric_limits<float>::quiet_NaN();
            continue;
        }

        Eigen::Vector4f world_coords(dwidth  * float(x) - 1.0f,
            dheight * float(y) - 1.0f,
            depth[ptr],
            1.0f);
        world_coords = mat1 * world_coords;

        float w3 = 1.0f / world_coords[3];
        world_coords[0] *= w3;
        world_coords[1] *= w3;
        world_coords[2] *= w3;

        pt.x = static_cast<float> (world_coords[0]);
        pt.y = static_cast<float> (world_coords[1]);
        pt.z = static_cast<float> (world_coords[2]);
    }
}

我希望虚拟扫描程序返回带有颜色信息的pcl::PointXYZRGB点云。

如何从VTK经验丰富的人那里获得任何帮助可以节省我的一些时间。

我可能错过了此处已经提到的相关问题 - 在这种情况下，请指出我。谢谢。

Answer 1

如果我理解你想要获得将点渲染到win RenderWindow中的颜色，你应该能够通过调用

从渲染缓冲区中获取数据。

float* pixels = win->GetRGBAPixelData(0, 0, xres - 1, yres - 1, 0/1)。

这应该以渲染缓冲区的每个像素为格式[R0, G0, B0, A0, R1, G1, B1, A1, R2....]的数组。我写为0/1的最后一个参数是数据是从前面还是后面的opengl缓冲区获取的。我认为默认情况下应该打开双缓冲，所以你想从后台缓冲区读取（使用'1'），但我不确定。

完成后，您可以在第二个循环中获取属于点（depth[ptr] != 1.0）的所有像素的颜色：

pt.R = pixels[4*ptr];
pt.G = pixels[4*ptr + 1];
pt.B = pixels[4*ptr + 2];

完成后，您应该致电win->ReleaseRGBAPixelData(pixels)。

模拟保存颜色信息的虚拟摄像机

1 个答案: