Question

我试图从WebRTC Android应用程序中保存帧。在SurfaceViewRenderer.java中，它使用GLES着色器绘制YUV帧。为了保存绘制的框架，我将saveFrame（）从grafika添加到了SurfaceViewRenderer.java，但是当我调用saveFrame（）时它不起作用（位图为空）。我认为glReadPixels（）从当前颜色缓冲区中读取像素，但它似乎没有在当前的EGLcontext中调用？如何调用glReadPixels（）来保存当前帧？

我写的代码是这样的：

在MainActivity中，我添加了这样的按钮。

button.setOnClickListener(new View.OnClickListener() {
        @Override
        public void onClick(View v) {
            bitmap = localSurfaceViewRender.saveFrame();
            if (bitmap != null) {
                Toast.makeText(getApplicationContext(), "Saved!!", Toast.LENGTH_SHORT).show();
                imageView.setImageBitmap(bitmap);
            }
        }
    });

在SurfaceViewRenderer.java中我添加了一些方法来从当前绑定的egl中获取值

public int getSurfaceHeight() {
    if (mHeight < 0) {
        return eglBase.surfaceHeight();
    } else {
        return mHeight;
    }
}

public int getSurfaceWidth() {
    if (mWidth < 0) {
        return eglBase.surfaceWidth();
    } else {
        return mWidth;
    }
}


public Bitmap saveFrame() {
    int width = eglBase.surfaceWidth();
    int height = eglBase.surfaceHeight();
    ByteBuffer buf = ByteBuffer.allocateDirect(width * height * 4);
    buf.order(ByteOrder.LITTLE_ENDIAN);
    GLES20.glFinish();
    GLES20.glReadPixels(0, 0, width, height, GLES20.GL_RGB, GLES20.GL_UNSIGNED_BYTE, buf);
    GlUtil.checkNoGLES2Error("glReadPixels");
    buf.rewind();
    Bitmap bmp = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);
    bmp.copyPixelsFromBuffer(buf);
    return bmp;
}

修改此代码是saveFrame的完整代码

// save as a file
        public void saveFrame(final File file) {
            runOnRenderThread(new Runnable() {
                @Override
                public void run() {
                    int width = eglBase.surfaceWidth();
                    int height = eglBase.surfaceHeight();
                    ByteBuffer buf = ByteBuffer.allocateDirect(width * height * 4);
                    buf.order(ByteOrder.LITTLE_ENDIAN);
                    GLES20.glFinish();
                    GLES20.glReadPixels(0, 0, width, height, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, buf);
                    GlUtil.checkNoGLES2Error("glReadPixels");
                    buf.rewind();

                    // fliping by vertical
                    byte[] tmp = new byte[width * 4];
                    for (int i = 0; i < height / 2; i++) {
                        buf.get(tmp);
                        System.arraycopy(buf.array(), buf.limit() - buf.position(),
                                buf.array(), buf.position() - width * 4, width * 4);
                        System.arraycopy(tmp, 0, buf.array(), buf.limit() - buf.position(), width * 4);
                    }
                    buf.rewind();

                    String filename = file.toString();
                    BufferedOutputStream bos = null;
                    try {
                        bos = new BufferedOutputStream(new FileOutputStream(filename));
                        Bitmap bmp = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);
                        bmp.copyPixelsFromBuffer(buf);
                        bmp.compress(Bitmap.CompressFormat.JPEG, 100, bos);
                        bmp.recycle();
                    } catch (FileNotFoundException e) {
                        e.printStackTrace();
                    } finally {
                        if (bos != null) try {
                            bos.close();
                        } catch (IOException e) {
                            e.printStackTrace();
                        }
                    }

                    Log.d(TAG, "Saved " + width + "x" + height + " frame as '" + filename + "'");
                }
            });
        }

Answer 1

glReadPixels()函数从当前上下文中读取帧缓冲区的内容。调用eglSwapBuffers()后，内容就会消失。

换句话说，应用程序无法从SurfaceView中读取任何内容。因此，您必须在将缓冲区提交给合成器之前读取像素。

（我真的不确定如果你在交换缓冲区后立即调用glReadPixels()会发生什么......你可能会从循环缓冲区中读取先前发送的帧，但你不能总是依赖在那。）

您似乎是从主UI线程调用glReadPixels()。如果SurfaceView渲染发生在另一个线程上，则需要从同一个线程访问帧缓冲区，因为这是EGL上下文的当前位置。给定的上下文一次不能在多个线程中是最新的。

glReadPixels在WebRTC Android SurfaceViewRenderer中不起作用

1 个答案: