使用libavformat通过RTP传输H.264

时间:2012-04-13 15:27:34

标签: c++ h.264 rtp libavformat libx264

过去一周我一直在尝试通过RTP实现H.264流媒体,使用x264作为编码器,使用libavformat打包和发送流。问题是,据我所知,它无法正常工作。

现在我只是编码随机数据(x264_picture_alloc)并从libx264中提取NAL帧。这很简单:

x264_picture_t pic_out;
x264_nal_t* nals;
int num_nals;
int frame_size = x264_encoder_encode(this->encoder, &nals, &num_nals, this->pic_in, &pic_out);

if (frame_size <= 0)
{
    return frame_size;
}

// push NALs into the queue
for (int i = 0; i < num_nals; i++)
{
    // create a NAL storage unit
    NAL nal;
    nal.size = nals[i].i_payload;
    nal.payload = new uint8_t[nal.size];
    memcpy(nal.payload, nals[i].p_payload, nal.size);

    // push the storage into the NAL queue
    {
        // lock and push the NAL to the queue
        boost::mutex::scoped_lock lock(this->nal_lock);
        this->nal_queue.push(nal);
    }
}

nal_queue用于将帧安全地传递给Streamer类,然后将该帧发送出去。现在它没有线程,因为我只是试图让它工作。在编码单个帧之前,我已经确保初始化编码器。

但我不相信x264是问题,因为我可以看到它返回的NAL中的帧数据。 使用libavformat完成数据流传输,首先在Streamer类中初始化:

Streamer::Streamer(Encoder* encoder, string rtp_address, int rtp_port, int width, int height, int fps, int bitrate)
{
    this->encoder = encoder;

    // initalize the AV context
    this->ctx = avformat_alloc_context();
    if (!this->ctx)
    {
        throw runtime_error("Couldn't initalize AVFormat output context");
    }

    // get the output format
    this->fmt = av_guess_format("rtp", NULL, NULL);
    if (!this->fmt)
    {
        throw runtime_error("Unsuitable output format");
    }
    this->ctx->oformat = this->fmt;

    // try to open the RTP stream
    snprintf(this->ctx->filename, sizeof(this->ctx->filename), "rtp://%s:%d", rtp_address.c_str(), rtp_port);
    if (url_fopen(&(this->ctx->pb), this->ctx->filename, URL_WRONLY) < 0)
    {
        throw runtime_error("Couldn't open RTP output stream");
    }

    // add an H.264 stream
    this->stream = av_new_stream(this->ctx, 1);
    if (!this->stream)
    {
        throw runtime_error("Couldn't allocate H.264 stream");
    }

    // initalize codec
    AVCodecContext* c = this->stream->codec;
    c->codec_id = CODEC_ID_H264;
    c->codec_type = AVMEDIA_TYPE_VIDEO;
    c->bit_rate = bitrate;
    c->width = width;
    c->height = height;
    c->time_base.den = fps;
    c->time_base.num = 1;

    // write the header
    av_write_header(this->ctx);
}

这是事情似乎出错的地方。上面的av_write_header似乎绝对没有;我用过wireshark验证了这一点。作为参考,我使用Streamer streamer(&enc, "10.89.6.3", 49990, 800, 600, 30, 40000);初始化Streamer实例,enc是对先前用于处理x264的Encoder对象的引用。

现在,当我想要流出一个NAL时,我使用它:

// grab a NAL
NAL nal = this->encoder->nal_pop();
cout << "NAL popped with size " << nal.size << endl;

// initalize a packet
AVPacket p;
av_init_packet(&p);
p.data = nal.payload;
p.size = nal.size;
p.stream_index = this->stream->index;

// send it out
av_write_frame(this->ctx, &p);

此时,我可以看到RTP数据出现在网络上,它看起来像我发送的帧,甚至包括来自x264的一点版权blob。 但是,我使用过的任何玩家都无法理解数据。 VLC退出想要SDP描述,apparently isn't required

然后我尝试通过gst-launch播放:

gst-launch udpsrc port=49990 ! rtph264depay ! decodebin ! xvimagesink

这将等待UDP数据,但收到后,我得到:

  

错误:element / GstPipeline:pipeline0 / GstRtpH264Depay:rtph264depay0:没有RTP   格式是经过谈判的。其他调试信息:   gstbasertpdepayload.c(372):gst_base_rtp_depayload_chain():   / GstPipeline:pipeline0 / GstRtpH264Depay:rtph264depay0:输入缓冲区   需要设置RTP上限。这通常通过设置来实现   上游源元素的'caps'属性(通常为udpsrc或   appsrc),或者在depayloader之前放一个capsfilter元素   设置'caps'属性。另见   http://cgit.freedesktop.org/gstreamer/gst-plugins-good/tree/gst/rtp/README

由于我没有使用GStreamer进行自我传输,因此我不太确定RTP上限意味着什么。但是,它让我想知道我是不是通过RTP发送足够的信息来描述流。我对视频很陌生,我觉得我在这里缺少一些关键的东西。任何提示?

1 个答案:

答案 0 :(得分:4)

h264是一种编码标准。它指定了如何压缩和存储视频数据的格式,以后可以将其解压缩为视频流。

RTP是一种传输协议。它指定了可以承载由任意编码器编码的音频 - 视频数据的数据包的格式和顺序。

GStreamer希望接收符合RTP协议的数据。您是否期望libaformat能够立即生成GStreamer可读的RTP数据包?也许GStreamers期望一个额外的流描述,使其能够使用适当的解码器接受和解码流数据包?也许它需要额外的RTSP交换或SDP流描述符文件?

错误消息非常清楚地表明尚未协商RTP格式。 caps是功能的缩写。接收方需要了解发射机正确设置接收机/解码机制的能力。

我强烈建议至少尝试为您的RTP流创建SDP文件。 libavformat should be able to do it for you