Question

我在本地网络上有一些ip摄像头。我接收带有live555库的视频流（我以testRtspClient为基础）并使用ffmpeg（avcodec_decode_video2）解码帧。一切都很完美。当我尝试从互联网解码流时，问题就开始了。

第一个问题 - 一些数据包丢失，因此出现缺陷。但这不是问题。问题 - 在停止和启动视频流之后，有必要等待大约5分钟的流媒体，然后ffmpeg才能从同一个ip摄像头解码。如果数据包没有丢失，那么就可以了。

第二个问题 - 有相机发送分辨率为2048х1538的视频。这种分辨率的帧由几个分组发送。 live555通常将它们组合在一起但是当帧被传送到解码器时，解码器返回数据包长度，但帧始终为0。

这是我的一些代码：

#define RECEIVE_BUFFER_SIZE 1000000
AVCodecContext* avCodecContext; //definition
AVFrame *frame;  //definition
...
//init code
_fReceiveBuffer = new uint8_t[RECEIVE_BUFFER_SIZE+512]; //buffer to receive frame
ZeroMemory(_fReceiveBuffer, RECEIVE_BUFFER_SIZE + 512); //zeros
_bufferSize = RECEIVE_BUFFER_SIZE * sizeof(uint8_t); //buffer size

static const  uint8_t startCode[4] = { 0x00, 0x00, 0x00, 0x01 }; //this is for 0 0 0 1
//before frame will transfer to decoder
memcpy(_fReceiveBuffer, (void*)startCode, sizeof(uint8_t)* 4);
_fReceiveBuffer += sizeof(sizeof(uint8_t)* 4);
_bufferSize -= sizeof(sizeof(uint8_t)* 4);

AVCodec *codec = avcodec_find_decoder(AV_CODEC_ID_H264); //find codec

avCodecContext = avcodec_alloc_context3(codec); 
avCodecContext->flags |= AV_PKT_FLAG_KEY;
avcodec_open2(avCodecContext, codec, NULL);

frame = av_frame_alloc();

//frame
void DummySink::afterGettingFrame(unsigned frameSize, unsigned numTruncatedBytes,
struct timeval presentationTime, unsigned durationInMicroseconds) {

if (strcmp(fSubsession.codecName(), "H264") == 0)
{
    //code from onvif device manager
    static const uint8_t startCode3[] = { 0x00, 0x00, 0x01 };
    static const uint8_t startCode4[] = { 0x00, 0x00, 0x00, 0x01 };
    auto correctedFrameSize = frameSize;
    auto correctedBufferPtr = fPlObj->_fReceiveBuffer;
    if (frameSize < sizeof(startCode4) || memcmp(startCode4, correctedBufferPtr, sizeof(startCode4)) != 0){
        if (frameSize < sizeof(startCode3) || memcmp(startCode3, correctedBufferPtr, sizeof(startCode3)) != 0){
            correctedFrameSize += sizeof(uint8_t)* 4;
            correctedBufferPtr -= sizeof(uint8_t)* 4;
        }
    }

    ProcessFrame(correctedBufferPtr, correctedFrameSize, presentationTime, durationInMicroseconds);
}
continuePlaying();
}

void DummySink::ProcessFrame(unsigned char* framePtr, int frameSize, struct timeval presentationTime, unsigned duration)    {

AVPacket avpkt;
av_init_packet(&avpkt);
avpkt.data = framePtr;
avpkt.size = frameSize;
while (avpkt.size > 0) {
    int got_frame = 0;

    int len = avcodec_decode_video2(avCodecContext, frame, &got_frame, &avpkt);
    if (len < 0) {
        //TODO: log error
        return;
    }
    else if (got_frame == 0)
    {
//I tried this code, bacause "codecs which have the AV_CODEC_CAP_DELAY capability set have a delay between input and output"
//but it didn't help
        /*AVPacket emptyPacket;
        av_init_packet(&emptyPacket);
        emptyPacket.data = NULL;
        emptyPacket.size = 0;
        emptyPacket.stream_index = avpkt.stream_index;
        len = avcodec_decode_video2(avCodecContext, frame, &got_frame, &emptyPacket);
        if ( got_frame == 1) goto next;*/
        return;
    }
next:
    //... here code for view with DirectDraw - everithing ok with it
    avpkt.size -= len;
    avpkt.data += len;
}
}

我alsa尝试使用sps和pps信息将帧发送到解码器：

0 0 0 1 sps 0 0 0 1 pps 0 0 0 1 frame

但没有帮助。

有趣的是avcodec_decode_video2没有返回带有第二个问题的帧（返回所有帧的大小），但avCodecContext中的宽度和高度设置正确。我无法理解它为什么不返回框架。

任何人都可以帮助解决这些问题吗？

Answer 1

我通过使用rtp over tcp而不是rtp而不是udp解决了这些问题。

ffmpeg不解码某些h264流

1 个答案: