Question

我在程序中生成了一个PointCloud，现在，我希望能够单击使用OpenGL渲染到屏幕上的该点云中的一个点。

为此，我使用了一种技巧，根据VBO中的索引为屏幕外的每个像素提供一种颜色。我为屏幕外渲染和屏幕上渲染使用同一台摄像机，以便它们一起移动，单击时，我会获得屏幕外渲染的值，以检索VBO中的位置来获得单击的点。这是理论，因为当我单击时，我只有（0,0,0）。我相信这意味着我的FBO渲染效果不佳，但是我不确定是否是这个问题，或者问题是否出在其他地方...

所以这是步骤。 clicFBO是我用于屏幕外渲染的FBO，而clicTextureColorBuf是我在FBO中编写的纹理

glGenFramebuffers(1, &clicFBO);
glBindFramebuffer(GL_FRAMEBUFFER, clicFBO);
glGenTextures(1, &clicTextureColorBuf);
glBindTexture(GL_TEXTURE_2D, clicTextureColorBuf);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, SCR_WIDTH, SCR_HEIGHT, 0, GL_RGB, GL_UNSIGNED_BYTE, NULL);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, clicTextureColorBuf, 0);
GLenum DrawBuffers[1] = { GL_COLOR_ATTACHMENT0 };
glDrawBuffers(1, DrawBuffers);

然后，我编写了一个着色器，为每个点赋予其在VBO中索引的颜色...

std::vector<cv::Point3f> reconstruction3D; //Will contain the position of my points
std::vector<float> indicesPointsVBO; //Will contain the indexes of each point
for (int i = 0; i < pts3d.size(); ++i) {
    reconstruction3D.push_back(pts3d[i].pt3d);
    colors3D.push_back(pt_tmp);
    indicesPointsVBO.push_back(((float)i / (float)pts3d.size() ));
}

GLuint clicVAO, clicVBO[2];
glGenVertexArrays(1, &clicVAO);
glGenBuffers(2, &clicVBO[0]);
glBindVertexArray(clicVAO);
glBindBuffer(GL_ARRAY_BUFFER, clicVBO[0]);
glBufferData(GL_ARRAY_BUFFER, reconstruction3D.size() * sizeof(cv::Point3f), &reconstruction3D[0], GL_STATIC_DRAW);
glEnableVertexAttribArray(0);
glVertexAttribPointer(0, 3, GL_FLOAT, GL_FALSE, 0, (GLvoid*)0);
glEnable(GL_PROGRAM_POINT_SIZE);

glBindBuffer(GL_ARRAY_BUFFER, clicVBO[1]);
glBufferData(GL_ARRAY_BUFFER, indicesPointsVBO.size() * sizeof(float), &indicesPointsVBO[0], GL_STATIC_DRAW);
glEnableVertexAttribArray(1);
glVertexAttribPointer(1, 1, GL_FLOAT, GL_FALSE, 0, (GLvoid*)0);
glBindBuffer(GL_ARRAY_BUFFER, 0);
glBindVertexArray(0);
glBindFramebuffer(GL_FRAMEBUFFER, 0);

和顶点着色器：

layout (location = 0) in vec3 pos;
layout (location = 1) in float col;

out float Col;
uniform mat4 model;
uniform mat4 view;
uniform mat4 projection;
uniform int pointSize;

void main()
{
    gl_PointSize = pointSize;
    gl_Position =  projection * view * model * vec4(pos, 1.0);

    Col = col;
}

还有片段：

#version 330 core
layout(location = 0) out vec4 FragColor;
in float Col;
void main()
{
    FragColor = vec4(Col, Col, Col ,1.0);
}

这就是我渲染此纹理的方式：

    glm::mat4 view = camera.GetViewMatrix();
    glm::mat4 projection = glm::perspective(glm::radians(camera.Zoom), (float)SCR_WIDTH / (float)SCR_HEIGHT, 1.0f, 100.0f);
    glBindFramebuffer(GL_FRAMEBUFFER, clicFBO);
    clicShader.use();

    glDisable(GL_DEPTH_TEST);
    glClearColor(1.0f, 1.0f, 1.0f, 1.0f);
    glClear(GL_COLOR_BUFFER_BIT);
    clicShader.setMat4("projection", projection);
    clicShader.setMat4("view", view);
     model = glm::mat4();
    clicShader.setMat4("model", model);
    clicShader.setInt("pointSize", pointSize);

    glBindVertexArray(clicVAO);
    glDrawArrays(GL_POINTS, 0, (GLsizei)reconstruction3D.size());
    glBindFramebuffer(GL_FRAMEBUFFER, 0);

然后，当我单击时，我使用这段代码：

glBindFramebuffer(GL_FRAMEBUFFER, clicFBO);
glReadBuffer(GL_COLOR_ATTACHMENT0);
int width = 11, height = 11;
std::array<GLfloat, 363> arry{ 1 };

glReadPixels(Xpos - 5, Ypos - 5, width, height, GL_RGB, GL_UNSIGNED_BYTE, &arry);
for (int i = 0; i < 363; i+=3) { // It's 3 time the same number anyways for each number
    std::cout << arry[i] << " "; // It gives me only 0's
}
std::cout << std::endl << std::endl;
glBindFramebuffer(GL_FRAMEBUFFER, clicFBO);

我知道该错误可能确实很愚蠢，但是OpenGL的工作方式仍然存在一些问题。

我提出了我认为对理解该问题所必需的内容（无需过多扩展），但是如果您需要更多代码，我也可以编写。

我知道这不是一个可以说“是”或“否”的问题，它更像是调试程序，但是由于我真的找不到问题的根源，因此我希望有人可以解释对我来说，我做错了。我并不一定要寻求解决方案本身，而是可以帮助我了解错误在哪里的线索...

Answer 1

使用帧缓冲区对象FBO存储“对象标识符”是一种很酷的方法。而且还想看物体吧？然后，您还必须渲染默认的帧缓冲区（我称其为“ defFB”，它不是FBO）。

由于需要渲染到两个不同的目标，因此需要以下技术之一：

绘制对象两次（例如，两次调用glDrawArrays），一次调用FBO，第二次调用defFB。
一次绘制两个FBO的图像，然后将其中一个（用颜色）涂抹到defFB。

对于第一种技术，您可以使用附着在FBO上的纹理（如您目前所做的那样）。或者，您可以使用“渲染缓冲区”并绘制到它。

第二种方法需要在片段着色器中添加第二个“输出”：

layout(location = 0) out vec3 color; //GL_COLOR_ATTACHMENT0
layout(location = 1) out vec3 objID; //GL_COLOR_ATTACHMENT1

，并使用glDrawBuffers设置两个附件。

对于blit部分，请阅读this answer。

请注意，两个“输出”具有相同的格式，在此示例中为vec3。

代码失败是您设置了RGB纹理格式，并在glReadPixels上使用了该格式，但是FS中的“输出”为{{ 1}}，而不是vec4。

更多的担忧是：

使用glCheckFramebufferStatus
可能需要在FBO上使用“深度附件”，即使它不会被用于阅读。
禁用深度测试会将所有元素置于框架中。您的选点将选择最后绘制的，而不是最近的。

Answer 2

我发现了问题。
我的代码中有2个失败：
第一个是在OpenGL中，图像和帧缓冲区之间存在Y反转。因此，为了选择要点，您必须使用视口的大小来翻转Y：我这样做是这样的：

GLint m_viewport[4];
glGetIntegerv(GL_VIEWPORT, m_viewport);
int YposTMP = m_viewport[3] - Ypos - 1;

第二个是使用 glReadPixels(Xpos - 2, Ypos - 2, width, height, GL_RGB, GL_UNSIGNED_BYTE, &pixels[0]);，第6个参数必须为GL_FLOAT，因为我要返回的数据是浮点数。

谢谢！
最好的问候，
R.S

屏幕外帧缓冲区opengl上的glGetPixels

2 个答案: