Question

我是ffmpeg＆amp;的新手视频编码，在此页面上查找了一些相关问题之后，我找到了this帖子，这对了解ffmpeg的概述过程非常有用。

然而，我的工作不仅需要用Mat框架操作，在从视频中提取重要信息（提取边缘，边缘块的位置，每个边块的类型，块编号，运动矢量）之后，我必须编码并发送他们对客户。我试图找到这个部分的示例代码，但似乎以前没有人做过。

我的问题是如何将这些附加信息与视频帧一起编码，并将它们发送给客户端。我读到了可以帮助无损压缩的霍夫曼编码，但它是否有可能编码边缘＆amp;使用ffmpeg编码视频帧时使用霍夫曼编码的运动数据？我正在使用udp协议进行实验。

我找不到任何有关此内容的信息。我读到元数据＆amp; ffmpeg中的辅助信息，但这不是我想要做的。

我希望你能给我一个建议或指导研究这个领域，所以我可以理解并尝试实施它。如果这个案例有任何示例代码，我将非常感谢您的分享。

非常感谢你。

以下是服务器端的编码器部分：

int encode(Mat& input_frame, EncodedCallback callback, void* userdata = nullptr) {
    AVPacket pkt;
    /* encode 1 second of video */
    av_init_packet(&pkt);
    pkt.data = NULL; // packet data will be allocated by the encoder
    pkt.size = 0;
    int size = 0;
    fflush(stdout);
    cvtFrame2AVFrameYUV420(input_frame, &frame);

    static int time; 
    frame->pts = time++;
    /* encode the image */
    ret = avcodec_send_frame(c, frame);
    if (ret < 0) {
        fprintf(stderr, "Error avcodec_send_frame\n");
        exit(1);
    }
    nbFramesEncoded++;
    ret = avcodec_receive_packet(c, &pkt);
    if (!isFirstFrameEmmited) {
        nbNeededFramesInBuffer++;

        printf("nbNeededFramesInBuffer: %d\n", nbNeededFramesInBuffer);
    }
    if (ret < 0) {
        if (ret == -EAGAIN) {
            //output is not available, we must send more input
        } else {
            fprintf(stderr, "Error avcodec_receive_packet %d\n", ret);
            exit(1);
        }
    } else {

        if (callback) {
            callback(pkt, userdata);
        }
        size = pkt.size + 4;
        av_packet_unref(&pkt);
    }

    return size;
}

以下是处理帧处理的代码（目前我们检查并将动作块发送给客户端）

void updateFrame(Mat& frame) {
    //Get all Streams ready
    bool isReady = true;
    if (!frameStreamer->encoder->isFirstFrameEmmited) {
        frameStreamer->sendFrame(frame);
        isReady = false;
    }
    for (int yidx = 0; yidx < gridSize.height; yidx++) {
        for (int xidx = 0; xidx < gridSize.width; xidx++) {
            StreamPtr& stream = streamGrid[yidx][xidx];
            if (!stream->encoder->isFirstFrameEmmited) {
                Mat block = frame(stream->irect);
                stream->sendFrame(block);
                isReady = false;
            }
        }
    }
    if (isReady == false) {
        return;
    }

    if (pGray.empty()) {

        frameStreamer->sendFrame(frame);
        frameStreamer->sendFrame(frame);

        cvtColor(frame, pGray, CV_BGR2GRAY);
        return;
    }

    //Motion Detection
    Mat gray;
    cvtColor(frame, gray, CV_BGR2GRAY);
    Mat diff;
    absdiff(gray, pGray, diff);
    threshold(diff, diff, NOISE_THRESHOLD, 255, CV_THRESH_BINARY);
    if (HEAT_IMAGE) {
        gray.copyTo(diff, diff);
        imshow("Gray", gray);
        threshold(diff, diff, HEAT_THRESH, 255, CV_THRESH_TOZERO);
    }
    if (USE_MORPH_NOISE) {
        Morph_Noise(diff);
    }

    Mat motionImg = Mat::zeros(frameSize, CV_8UC3);
    //Block Classification
    int nbModifiedBlocks = 0;
    for (int yidx = 0; yidx < gridSize.height; yidx++) {
        for (int xidx = 0; xidx < gridSize.width; xidx++) {
            Rect irect(xidx * blockSize.width, yidx * blockSize.height,
                    blockSize.width, blockSize.height);
            int blockDiff = sum(diff(irect))[0];
            if (blockDiff > BLOCK_THRESHOLD * 255) {
                this->blockCls.at<uchar>(yidx, xidx) = MODI_BLOCK;
                nbModifiedBlocks++;
            } else {
                this->blockCls.at<uchar>(yidx, xidx) = SKIP_BLOCK;
            }
        }
    }

    //Send
    if (nbModifiedBlocks > this->nbBlocksThresh) {
        nbSentBytes += this->frameStreamer->sendFrame(frame);
    } else {
        for (int yidx = 0; yidx < gridSize.height; yidx++) {
            for (int xidx = 0; xidx < gridSize.width; xidx++) {
                uchar cls = this->blockCls.at<uchar>(yidx, xidx);
                StreamPtr& stream = streamGrid[yidx][xidx];
                bool send = false;
                if (cls == MODI_BLOCK) {
                    if (DEBUG_NETWORK) {
                        printf("Normal (%d, %d): ", xidx, yidx);
                    }
                    send = true;
                    stream->encoder->nbFramesBuffered = stream->encoder->nbNeededFramesInBuffer;

                    rectangle(motionImg, stream->irect, Scalar(0, 0, 255), CV_FILLED);

                } else if (stream->encoder->nbFramesBuffered > 0) {
                    if (DEBUG_NETWORK) {
                        printf("Extra (%d, %d): ", xidx, yidx);
                    }
                    send = true;
                    stream->encoder->nbFramesBuffered--;
                    stream->encoder->nbFlushFrames++;
                    rectangle(motionImg, stream->irect, Scalar(0, 255, 0), CV_FILLED);
                }

                if (send) {
                    Mat block = frame(stream->irect);
                    nbSentBytes += stream->sendFrame(block);
                    gray(stream->irect).copyTo(pGray(stream->irect));
                }
            }
        }
    }

}

Answer 1

我可能不太了解你的问题，我想你要求在输出中添加额外的流，这可能有一些自定义数据。这是您添加data流的方式，请在add video stream之后添加此内容。

AVCodecParameters *par;
AVStream *st;

st = avformat_new_stream(ctx->oc, NULL); // ctx->oc is AVFormatContext *oc same you used where you add video stream
if (st == NULL)
{
    fprintf(stderr, "Error: avformat_new_stream() failed.\n");
    exit(EXIT_FAILURE);
}

par = st->codecpar;
par->codec_id = AV_CODEC_ID_TEXT; // raw UTF-8 text
par->codec_type = AVMEDIA_TYPE_DATA; // Opaque data information usually continuous

之后，您可以将“数据”设置为pkt.data，并在关联的视频帧输出后将其与av_interleaved_write_frame一起发送。

ffmpeg / c ++用ffmpeg

1 个答案: