Question

我希望将Chrome debugger in it's own window fixes. But annoying problem复制到一个数组中，其中像素按行主要顺序一次存储一个通道。

详细说明：

我正在使用FFMPEG的api来读取视频中的帧。我使用AVFrame将每个帧作为avcodec_decode_video2获取，如下所示：

AVFrame

目标数组如下所示：

AVFormatContext* fmt_ctx = NULL;
avformat_open_input(&fmt_ctx, filepath, NULL, NULL);
...
int video_stream_idx;  // stores the stream index for the video
...
AVFrame* vid_frame = NULL;
vid_frame = av_frame_alloc();
AVPacket vid_pckt;
int frame_finish;
...
while (av_read_frame(fmt_ctx, &vid_pckt) >= 0) {
    if (b_vid_pckt.stream_index == video_stream_idx) {
        avcodec_decode_video2(cdc_ctx, vid_frame, &frame_finish, &vid_pckt);
        if (frame_finish) {
            /* perform conversion */
        }
    }
}

我需要将所有unsigned char* frame_arr = new unsigned char [cdc_ctx->width * cdc_ctx->height * 3];复制到vid_frame，其中像素值的范围应为[0,255]。问题是阵列需要按行主要顺序存储帧，一次一个通道，即R11，R12，... R21，R22，... G11，G12，... G21，G22，.. .B11，B12，... B21，B22，...（我使用了符号[颜色通道] [行索引] [列索引]，即G21是第2行第1列像素的绿色通道值）。我看过frame_arr，但我不太了解它是否足以弄清楚该功能是否能够进行这样的转换。有人可以帮忙！：）

Answer 1

您称为“一次一个频道”的格式有一个名为planar的字词。（顺便说一下，相反的格式名为packed）几乎每个像素格式都是行顺序。

这里的问题是输入格式可能会有所不同，所有这些格式都应转换为一种格式。这就是sws_scale()所做的。

但是，ffmpeg库中还没有这种planar RGB格式。您必须将自己的像素格式描述写入ffmpeg源代码libavutil/pixdesc.c并重新构建库。

或者您可以将帧转换为AV_PIX_FMT_GBRP格式，这与您想要的格式最相似。 AV_PIX_FMT_GBRP是平面格式，而绿色通道首先是红色，最后是红色（蓝色中间）。然后重新安排这些渠道。

// Create a SwsContext first:
SwsContext* sws_ctx = sws_getContext(cdc_ctx->width, cdc_ctx->height, cdc_ctx->pix_fmt, cdc_ctx->width, cdc_ctx->height, AV_PIX_FMT_GBRP, 0, 0, 0, 0);
// alloc some new space for storing converted frame
AVFrame* gbr_frame = av_frame_alloc();
picture->format = AV_PIX_FMT_GBRP;
picture->width  = cdc_ctx->width;
picture->height = cdc_ctx->height;
av_frame_get_buffer(picture, 32);
....

while (av_read_frame(fmt_ctx, &vid_pckt) >=0) {
    ret = avcodec_send_packet(cdc_ctx, &vid_pckt);
    // In particular, we don't expect AVERROR(EAGAIN), because we read all
    // decoded frames with avcodec_receive_frame() until done.
    if (ret < 0)
        break;

    ret = avcodec_receive_frame(cdc_ctx, vid_frame);
    if (ret < 0 && ret != AVERROR(EAGAIN) && ret != AVERROR_EOF)
        break;
    if (ret >= 0) {
        // convert image from native format to planar GBR
        sws_scale(sws_ctx, vid_frame->data, 
                  vid_frame->linesize, 0, vid_frame->height, 
                  gbr_frame->data, gbr_frame->linesize);

        // rearrange gbr channels in gbr_frame as you like
        // g channel is gbr_frame->data[0]
        // b channel is gbr_frame->data[1]
        // r channel is gbr_frame->data[2]
        // ......
    }
}

av_frame_free(gbr_frame);
av_frame_free(vid_frame);
sws_freeContext(sws_ctx);
avformat_free_context(fmt_ctx)

FFMPEG - 每通道阵列转换的AVFrame

1 个答案: