Question

我正在尝试解码帧，但是每帧（更具体地说，每次对avcodec_send_packet的调用）的内存使用量都会增加，直到最终代码由于bad_alloc崩溃而崩溃。这是基本的解码循环：

int rfret = 0;
while((rfret = av_read_frame(inctx.get(), &packet)) >= 0){
    if (packet.stream_index == vstrm_idx) {

        //std::cout << "Sending Packet" << std::endl;
        int ret = avcodec_send_packet(ctx.get(), &packet);
        if (ret < 0 || ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            std::cout << "avcodec_send_packet: " << ret << std::endl;
            break;
        }

        while (ret  >= 0) {
            //std::cout << "Receiving Frame" << std::endl;
            ret = avcodec_receive_frame(ctx.get(), fr);
            if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                //std::cout << "avcodec_receive_frame: " << ret << std::endl;
                av_frame_unref(fr);
                // av_frame_free(&fr);
                break;
            }

            std::cout << "frame: " << ctx->frame_number << std::endl;

            // eventually do something with the frame here...

            av_frame_unref(fr);
            // av_frame_free(&fr);
        }
    }
    else {
        //std::cout << "Not Video" << std::endl;
    }
    av_packet_unref(&packet);
}

内存使用/泄漏似乎与我正在解码的视频的分辨率成比例。例如，对于3840x2160分辨率的视频，Windows任务管理器中的内存使用量对于每个接收到的帧始终会增加约8mb（每像素1字节??）。除了调用av_frame_unref来释放内存外，我还需要做些其他事情吗？

（更多）下面的完整代码

void AVFormatContextDeleter(AVFormatContext* ptr)
{
    if (ptr) {
        avformat_close_input(&ptr);
    }
}

void AVCodecContextDeleter(AVCodecContext* ptr)
{
    if (ptr) {
        avcodec_free_context(&ptr);
    }
}

typedef std::unique_ptr<AVFormatContext, void (*)(AVFormatContext *)> AVFormatContextPtr;
typedef std::unique_ptr<AVCodecContext, void (*)(AVCodecContext *)> AVCodecContextPtr;

AVCodecContextPtr createAvCodecContext(AVCodec *vcodec)
{
    AVCodecContextPtr ctx(avcodec_alloc_context3(vcodec), AVCodecContextDeleter);
    return ctx;
}

AVFormatContextPtr createFormatContext(const std::string& filename)
{
    AVFormatContext* inctxPtr = nullptr;
    int ret = avformat_open_input(&inctxPtr, filename.c_str(), nullptr, nullptr);
    //    int ret = avformat_open_input(&inctx, "D:/Videos/test.mp4", nullptr, nullptr);
    if (ret != 0) {
        inctxPtr = nullptr;
    }

    return AVFormatContextPtr(inctxPtr, AVFormatContextDeleter);
}

int testDecode()
{
    // open input file context
    AVFormatContextPtr inctx = createFormatContext("D:/Videos/Matt Chapman Hi Greg.MOV");

    if (!inctx) {
        // std::cerr << "fail to avforamt_open_input(\"" << infile << "\"): ret=" << ret;
        return 1;
    }

    // retrieve input stream information
    int ret = avformat_find_stream_info(inctx.get(), nullptr);
    if (ret < 0) {
        //std::cerr << "fail to avformat_find_stream_info: ret=" << ret;
        return 2;
    }

    // find primary video stream
    AVCodec* vcodec = nullptr;
    const int vstrm_idx = av_find_best_stream(inctx.get(), AVMEDIA_TYPE_VIDEO, -1, -1, &vcodec, 0);
    if (vstrm_idx < 0) {
        //std::cerr << "fail to av_find_best_stream: vstrm_idx=" << vstrm_idx;
        return 3;
    }

    AVCodecParameters* origin_par = inctx->streams[vstrm_idx]->codecpar;
    if (vcodec == nullptr) {  // is this even necessary?
        vcodec = avcodec_find_decoder(origin_par->codec_id);
        if (!vcodec) {
            // Can't find decoder
            return 4;
        }
    }

    AVCodecContextPtr ctx = createAvCodecContext(vcodec);
    if (!ctx) {
        return 5;
    }

    ret = avcodec_parameters_to_context(ctx.get(), origin_par);
    if (ret) {
        return 6;
    }

    ret = avcodec_open2(ctx.get(), vcodec, nullptr);
    if (ret < 0) {
        return 7;
    }

    //print input video stream informataion
    std::cout
            //<< "infile: " << infile << "\n"
            << "format: " << inctx->iformat->name << "\n"
            << "vcodec: " << vcodec->name << "\n"
            << "size:   " << origin_par->width << 'x' << origin_par->height << "\n"
            << "fps:    " << av_q2d(ctx->framerate) << " [fps]\n"
            << "length: " << av_rescale_q(inctx->duration, ctx->time_base, {1,1000}) / 1000. << " [sec]\n"
            << "pixfmt: " << av_get_pix_fmt_name(ctx->pix_fmt) << "\n"
            << "frame:  " << inctx->streams[vstrm_idx]->nb_frames << "\n"
            << std::flush;


    AVPacket packet;

    av_init_packet(&packet);
    packet.data = nullptr;
    packet.size = 0;

    AVFrame *fr = av_frame_alloc();
    if (!fr) {
        return 8;
    }

    int rfret = 0;
    while((rfret = av_read_frame(inctx.get(), &packet)) >= 0){
        if (packet.stream_index == vstrm_idx) {

            //std::cout << "Sending Packet" << std::endl;
            int ret = avcodec_send_packet(ctx.get(), &packet);
            if (ret < 0 || ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                std::cout << "avcodec_send_packet: " << ret << std::endl;
                break;
            }

            while (ret  >= 0) {
                //std::cout << "Receiving Frame" << std::endl;
                ret = avcodec_receive_frame(ctx.get(), fr);
                if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                    //std::cout << "avcodec_receive_frame: " << ret << std::endl;
                    av_frame_unref(fr);
                    // av_frame_free(&fr);
                    break;
                }

                std::cout << "frame: " << ctx->frame_number << std::endl;

                // do something with the frame here...

                av_frame_unref(fr);
                // av_frame_free(&fr);
            }
        }
        else {
            //std::cout << "Not Video" << std::endl;
        }
        av_packet_unref(&packet);
    }

    std::cout << "RFRET = " << rfret << std::endl;

    return 0;
}

更新1：（1/21/2019）在另一台计算机上编译并运行不同的视频文件，我不是看到内存使用无限制地增长。我将尝试缩小差异所在（编译器？，ffmpeg版本？还是视频编码？）

更新2：（1/21/2019）好的，看起来ffmpeg和Qt的QCamera之间发生了一些交互。在我的应用程序中，我使用Qt来管理网络摄像头，但是由于Qt对各种编解码器没有全面的支持，因此决定使用ffmpeg库来处理解码/编码。如果我打开相机（通过Qt），则ffmpeg解码的内存消耗会无限增加。如果关闭相机，则ffmpeg表现良好。我已经使用物理相机（Logitech C920）和使用OBS-Virtualcam的虚拟相机进行了尝试，但结果相同。到目前为止，我对这两个系统如何相互作用感到困惑……

Answer 1

在框架处理完后（在while循环之外）尝试调用av_frame_free

也不要拨打av_frame_unref

在此处查看示例： https://ffmpeg.org/doxygen/4.0/decode__video_8c_source.html

Answer 2

我有同样的问题。

在使用av_frame_unref之前。

调用av_freep（buffer-> data [0]）。

av_frame_unref不在框架中释放原始数据

示例：

    av_freep(&pFrame->data[0]);
    av_frame_unref(pFrame);
    //av_free(pFrame);

编辑：对不起，英语还不成熟。解码视频时，缓冲区中包含图像的数据。在释放并重新分配它之前，它将一直为NULL指针，这意味着您将需要在重新分配时再次分配内存。

使用完图像数据后，应释放缓冲区。你是那样使用的吗？

    while (Framecheck = av_read_frame(pFormatCtx, &packet) == NULL ) {

        if (d_end == true)
            break;
        if (packet.stream_index == VSI) {
            if (bool res = avcodec_send_packet(pVideoCodecCtx, &packet)) {
                printf("avcodec_send_packet failed %d %d %d\n", res, AVERROR(EINVAL), AVERROR(ENOMEM));
            }
            if (bool res = avcodec_receive_frame(pVideoCodecCtx, pVFrame) == 0) {
                printf("avcodec_receive failed %d %d %d\n", res, AVERROR(EINVAL), AVERROR(ENOMEM));
            }
            if (pVFrame->data[0] == NULL && pVFrame->data[1] == NULL && pVFrame->data[2] == NULL)
                continue;
            else {
                YUV_frame = Con_yuv_RGB(pVFrame);
                QFrame->push(YUV_frame);
                PushCount++;

            }
        }
        Sleep(5);
    }
    if (Framecheck != true){
        av_packet_unref(&packet);
        d_end = true;

        return true;

发布：

    if (FrameQueue->size()) {
    while (FrameQueue->size() > 0) {
        av_freep(&FrameQueue->front());
        //av_frame_unref(FrameQueue->front());
        av_free(FrameQueue->front());
        FrameQueue->pop();
    }
}

ffmpeg avcodec_send_packet / avcodec_receive_frame内存泄漏

2 个答案: