Question

在Android上，我正在尝试对相机帧执行一些OpenGL处理，在相机预览中显示这些帧，然后在视频文件中对帧进行编码。我正在尝试使用OpenGL，使用GLSurfaceView和GLSurfaceView.Renderer以及使用FFMPEG进行视频编码。

我使用着色器成功处理了图像帧。现在我需要将处理过的帧编码为视频。 GLSurfaceView.Renderer提供onDrawFrame（GL10 ..）方法。正是在这种方法中，我试图仅使用glReadPixels（）读取图像帧，然后将帧放在队列上以便编码为视频。就其本身而言，glReadPixels（）太慢了 - 我的帧速率是单位数。我正在尝试使用像素缓冲对象来加快速度。这不起作用。插入pbo后，帧速率不变。这是我第一次使用OpenGL，我不知道从哪里开始寻找问题。我这样做了吗？任何人都可以给我一些方向吗？提前谢谢。

public class MainRenderer implements GLSurfaceView.Renderer, SurfaceTexture.OnFrameAvailableListener {

.
.

    public void onDrawFrame ( GL10 gl10 ) {

        //Create a buffer to hold the image frame     
        ByteBuffer byte_buffer = ByteBuffer.allocateDirect(this.width * this.height * 4);
        byte_buffer.order(ByteOrder.nativeOrder());

        //Generate a pointer to the frame buffers
        IntBuffer image_buffers = IntBuffer.allocate(1); 
        GLES20.glGenBuffers(1, image_buffers);

        //Create the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));
        GLES20.glBufferData(GLES20.GL_ARRAY_BUFFER, byte_buffer.limit(), byte_buffer, GLES20.GL_STATIC_DRAW);
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));

        //Read the pixel data into the buffer
        gl10.glReadPixels(0, 0, this.width, this.height, GL10.GL_RGBA, GL10.GL_UNSIGNED_BYTE, byte_buffer);

        //encode the frame to video
        enQueueForEncoding(byte_buffer);

        //unbind the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, 0);
    }

.
.

}

Answer 1

我记得glBufferData()没有将你的内部缓冲区映射到GPU内存，它只是将内存中的数据复制到缓冲区中（初始化）。

要访问由glBufferData()分配的内存，您应该使用glMapBufferRange()。该函数返回一个可以读取的Java Buffer对象。

Answer 2

我之前从未尝试过类似的东西（opengl + video enconding），但我可以告诉你，从设备内存读取是慢的。尝试双缓冲，这可能会有所帮助，因为GPU可以在DMA控制器读回内容时继续渲染到第二个缓冲区。

加载探查器（检查设备的GPU供应商），这可能会给你一些想法。另一件可能有用的事情是将内部pbuffer格式设置为其他内容，尝试更低的数字并删除一个频道（alpha）。

编辑：如果您有这样的感觉，您可以在GPU上对视频进行编码，这将为您的应用程序提供增强，内存和处理能力。

在Android上使用Pixel Buffer Objects（PBO）

2 个答案: