如何使用相机参数在OpenGL中正确设置投影和模型视图矩阵

时间:2013-02-11 18:04:06

标签: python opengl opencv computer-vision robotics

我从一个范围扫描仪中获取了一组点(3D)。可以在此处找到示例数据:http://pastebin.com/RBfQLm56

我还有扫描仪的以下参数:

camera matrix
[3871.88184, 0, 950.736938;
  0, 3871.88184, 976.1383059999999;
  0, 0, 1]



distortion coeffs
[0.020208003; -1.41251862; -0.00355229038; -0.00438868301; 6.55825615]



camera to reference point (transform)

[0.0225656671, 0.0194614234, 0.9995559233, 1.2656986283;

  -0.9994773883, -0.0227084301, 0.0230060289, 0.5798922567;

  0.0231460759, -0.99955269, 0.0189388219, -0.2110195758;

  0, 0, 0, 1]

我正在尝试使用opengl正确渲染这些点,但渲染效果不正确。设置openGL投影和模型视图矩阵的正确方法是什么?这就是我目前所做的事情 -

znear = 0.00001
zfar =  100
K = array([[3871.88184, 0, 950.736938],[0, 3871.88184, 976.1383059999999],[0, 0, 1]])
Rt =array([[0.0225656671, 0.0194614234, 0.9995559233, 1.2656986283],[-0.9994773883, -0.0227084301, 0.0230060289, 0.5798922567],[0.0231460759, -0.99955269, 0.0189388219, -0.2110195758]])
ren.set_projection(K,zfar,znear)
ren.set_projection_from_camera(Rt)

使用的功能是:

def set_projection(self,K,zfar,znear):
    glMatrixMode(GL_PROJECTION);
    glLoadIdentity();
    f_x = K[0,0]
    f_y = K[1,1]
    c_x = K[0,2]
    c_y = K[1,2]
    fovY = 1/(float(f_x)/height * 2);
    aspectRatio = (float(width)/height) * (float(f_y)/f_x);
    near = zfar
    far = znear
    frustum_height = near * fovY;
    frustum_width = frustum_height * aspectRatio;
    offset_x = (width/2 - c_x)/width * frustum_width * 2;
    offset_y = (height/2 - c_y)/height * frustum_height * 2;
    glFrustum(-frustum_width - offset_x, frustum_width - offset_x, -frustum_height - offset_y, frustum_height - offset_y, near, far);


def set_modelview_from_camera(self,Rt):
    glMatrixMode(GL_MODELVIEW)
    glLoadIdentity()
    Rx = array([[1,0,0],[0,0,-1],[0,1,0]])
    R = Rt[:,:3]
    U,S,V = linalg.svd(R)
    R = dot(U,V)
    R[0,:]=-R[0,:]
    t=Rt[:,3]
    M=eye(4)
    M[:3,:3]=dot(R,Rx)
    M[:3,3]=t
    M=M.T
    m=M.flatten()
    glLoadMatrixf(m)

然后我只渲染点(粘贴片段):

def renderLIDAR(self,filename):
    glClear(GL_COLOR_BUFFER_BIT|GL_DEPTH_BUFFER_BIT)
    glPushMatrix();

    glEnable(GL_DEPTH_TEST)
    glClear(GL_DEPTH_BUFFER_BIT)
    glPointSize(1.0)
    f = open(filename,'r')
    f.readline() #Contains number of particles
    for line in f:
        line = line.split(' ')
        glBegin(GL_POINTS)
        glColor3f (0.0,1.0,0.0); 
        x = float(line[0])
        y = float(line[1])
        z = float(line[2])
        glVertex3f(x,y,z)
        #print x,y,z
        glEnd()

    glPopMatrix();

1 个答案:

答案 0 :(得分:3)

你得到的矩阵,最值得注意的是你问题中的最后一个矩阵是OpenGL中投影和模型视图的组合,也称为Modelviewprojection,即。

MVP = P·M

只要您对执行照明计算不感兴趣,就可以在顶点着色器中使用它,即

#version 330

uniform mat4 MVP;
in vec3 position;

void main()
{
    gl_Position = MVP * vec4(position, 1);
}
BTW,OpenGL以及您正在使用的库,可能都是使用列主要顺序,即内存中元素的顺序是

0 4 8 c
1 5 9 d
2 6 a e
3 7 b f

所以用源代码编写的内容必须被认为是“转置”(当然不是)。由于您编写的矩阵遵循相同的方案,您可以将其直接放入制服中。剩下的唯一问题是范围扫描仪使用的NDC空间的边界。但是可以通过应用额外的矩阵来处理。 OpenGL使用范围[-1,1] ^ 3,所以可能发生的最糟糕的事情是,如果它在另一个流行的NDC范围[0,1] ^ 3中,你会看到你的几何体被挤进左上角窗口的一角,如果Z轴进入另一个方向,可能会“向内翻”。试试吧,我会说它已经与OpenGL相匹配了。

无论如何,如果你想将它用于照明,你必须将它分解为投影和模型视图部分。说起来容易做起来难,但一个好的起点是对左上3×3子矩阵进行正交化,从而产生模型视图'M'的旋转部分。然后你必须找到一个矩阵P,当左边乘以M得到原始矩阵。这是一组超定的线性方程组,因此Gauss-Jordan方案可以做到这一点。如果我没有完全弄错的话,你已经以相机矩阵形式获得的是分解的M或P(我会选择M)。

一旦你得到了,你可能也希望将平移部分(第4列)放入模型视图矩阵中。