Question

我正在做一个录制视频的应用。我想要的是，当应用程序正在录制视频时，每个帧也会保存在RGB值的arraylist中，以便从中提取特定信息。我知道这两个过程（视频记录和帧的提取）是异步的，但这不是问题：提取过程可以在视频录制后完成。

有人可以告诉我如何从视频中提取帧吗？

非常感谢。

Answer 1

使用相机对象可以覆盖函数setPreviewCallback。从该函数您将获得一个字节数据数组。您可以将其转换为位图，也可以将它们保存在数组数组中。

假设您是扩展SurfaceView和实施SurfaceHolder.Callback

代码看起来像，

mCamera.setPreviewCallback(new PreviewCallback() {
    public void onPreviewFrame(byte[] data, Camera camera) {

        //do some operations using data

    }
});

如果要获取RGB值，可以使用此功能

static public void decodeYUV420SP(int[] rgb, byte[] yuv420sp, int width,
            int height) {
        final int frameSize = width * height;

        for (int j = 0, yp = 0; j < height; j++) {
            int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
            for (int i = 0; i < width; i++, yp++) {
                int y = (0xff & ((int) yuv420sp[yp])) - 16;
                if (y < 0)
                    y = 0;
                if ((i & 1) == 0) {
                    v = (0xff & yuv420sp[uvp++]) - 128;
                    u = (0xff & yuv420sp[uvp++]) - 128;
                }

                int y1192 = 1192 * y;
                int r = (y1192 + 1634 * v);
                int g = (y1192 - 833 * v - 400 * u);
                int b = (y1192 + 2066 * u);

                if (r < 0)
                    r = 0;
                else if (r > 262143)
                    r = 262143;
                if (g < 0)
                    g = 0;
                else if (g > 262143)
                    g = 262143;
                if (b < 0)
                    b = 0;
                else if (b > 262143)
                    b = 262143;

                rgb[yp] = 0xff000000 | ((r << 6) & 0xff0000)
                        | ((g >> 2) & 0xff00) | ((b >> 10) & 0xff);
            }
        }
    }

我认为这是你想要的答案。如果我错了，请告诉我你的实际要求是什么

要获得绿色值，您可以使用以下代码

static public void calculateColor(int[] rgb, int[] color,
            int width, int height, int component) {
        for (int bin = 0; bin < 256; bin++) {
            color[bin] = 0;
        } // bin

        int start = 0;
        int end = width * height;

        if (component == 0) // red
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = (rgb[pix] >> 16) & 0xff;
                color[pixVal]++;
            } // pix
        } else if (component == 1) // green
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = (rgb[pix] >> 8) & 0xff;
                color[pixVal]++;
            } // pix
        } else // blue
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = rgb[pix] & 0xff;
                color[pixVal]++;
            } // pix
        }
    }

调用此函数将为每个像素返回绿色值。如果您想要特定像素的绿色值，则必须修改此代码。

Answer 2

可以在bigflake site上找到从.mp4文件中提取帧的示例代码。它使用{16}上提供的MediaCodec。如果您需要在较旧的设备上运行，最好的选择可能是ffmpeg。

RGB数据每像素需要3个字节。 30 fps的10秒720p视频将需要1280 * 720 * 3 * 30 * 10 = 791兆字节。除非您的视频帧相当小，否则保留大量视频帧可能不实用（或可能）。

Answer 3

在我看来，您希望在视频录制过程中获取图像。

在这种情况下，您需要查看Build your camera app。本页介绍如何使用Android摄像头类录制视频。

然后，您可以通过Camera preview callback获取yuv图像。

在实时android中从视频中提取帧

3 个答案: