Question

我想读取SDP文件并将视频流编码为h.264，将音频流编码为aac。然后我想将这些流复用到avi流中，然后复制到文件中。我提前不知道SDP文件的内容，所以使用playbin2似乎最简单。

所以，我认为我可以这样做：

                             RawToAviMux Bin
                       ______________________________________
                ----- |ghostpad----x264enc
              /       |                   \
playbin2------        |                    avimux--filesink
              \       |                    /
               -------| ghostpad----ffenc_aac
                      |_______________________________________

 setting playbin2's videosink to an instance of RawToAviMux
      and playbin2's audiosink to the same instance of RawToAviMux

但是，我无法让管道进入播放状态。

以下是代码：

            recorder = new Gst.BasePlugins.PlayBin2();
            recorder.PlayFlags &= ~((Gst.BasePlugins.PlayBin2.PlayFlagsType)(1 << 2));
            recorder.Bus.AddSignalWatch();
            recorder.Bus.EnableSyncMessageEmission();

            RawToAviMuxer aviMuxer = new RawToAviMuxer(fileName);               

            recorder.VideoSink = aviMuxer;
            recorder.AudioSink = aviMuxer;

            recorder.SetState(Gst.State.Ready);
            recorder.Uri = @"file:///" + filePath.Replace('\\', '/');
            recorder.SetState(Gst.State.Paused);
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;
            Gst.State playingState = Gst.State.Playing;
            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, out playingState, Gst.Clock.Second);

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

将RawToAviMuxer作为

public class RawToAviMuxer : Gst.Bin
{
    bool test = false;

    public RawToAviMuxer(string outputFileName)
        : base("rawToAviMux")
    {
        Gst.Element x264Enc = Gst.ElementFactory.Make("x264enc");
        Gst.Element ffenc_aac = Gst.ElementFactory.Make("ffenc_aac");

        x264Enc["bframes"] = (uint)0;
        x264Enc["b-adapt"] = false;
        x264Enc["bitrate"] = (uint)1024;
        x264Enc["tune"] = 0x4;
        x264Enc["speed-preset"] = 3;
        x264Enc["sliced-threads"] = false;
        x264Enc["profile"] = 0;
        x264Enc["key-int-max"] = (uint)30;

        Gst.GhostPad videoToX264Pad = new Gst.GhostPad("video_sink", x264Enc.GetStaticPad("sink"));
        Gst.GhostPad audioToAACPad = new Gst.GhostPad("audio_sink", ffenc_aac.GetStaticPad("sink"));

        test = this.AddPad(videoToX264Pad);
        test = this.AddPad(audioToAACPad);

        Gst.Element aviMux = Gst.ElementFactory.Make("avimux");
        Gst.Element fileSink = Gst.ElementFactory.Make("filesink");

        test = this.Add(new Gst.Element[]{x264Enc, ffenc_aac, aviMux, fileSink});
        test = x264Enc.Link(aviMux);
        test = ffenc_aac.Link(aviMux);
        test = aviMux.Link(fileSink);

        fileSink["location"] = outputFileName;
    }
}

我已经介入调试器，所有链接都成功了。

更新

好的，所以我用Gst.Parse.Launch尝试了以下管道：

uridecodebin uri=file:///C:/Users/Jonathan/AppData/Local/Temp/192.168.0.215_5000.sdp !
x264enc byte-stream=true bframes=0 b-adapt=0 tune=0x4 speed-preset=3 sliced-threads=false 
profile=0 ! mux. ffenc_aac ! mux. avimux name=mux ! filesink location=C:\Users\Jonathan\Desktop\test.avi

我仍然无法摆脱暂停。

我正在使用windows build，所以我担心这可能有问题吗？

我也无法将一个消息处理程序附加到总线上，以便我可以弄清楚发生了什么，这真的开始变得烦人。

我确实找到了这个，

如果我通过udpsrc元素直接获取流，提前知道格式是什么，它只适用于rtph264depay元素。管道中必须有一个h264parse元素。这可能是uridecodebin对我不起作用的原因？

解决我最终做了以下事情：

            if (!gst_is_init)
            {                
                Gst.Application.Init();
                gst_is_init = true;
            }

            if(recorder != null)
            {
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();
            }

            string videoDepay, audioDepay, strExtension, strMuxer;

            GetGstElements(stream.VideoCaps, out videoDepay, out strMuxer, out strExtension);
            GetGstElements(stream.AudioCaps, out audioDepay, out strMuxer, out strExtension);

            fileName = Path.ChangeExtension(fileName, strExtension);

            //recorder = new Gst.Pipeline("recordingPipe");
            string pipeString = String.Format("udpsrc port={0} ! {1} {2} ! {3} ! queue ! mux. udpsrc port={4} ! {1} {5} ! {6} ! mux. {7} name=mux ! filesink location={8}",
                portToUse, "application/x-rtp,", stream.VideoCaps, videoDepay, (portToUse + 2), stream.AudioCaps, audioDepay, strMuxer, fileName.Replace("\\", "\\\\"));

            recorder = (Gst.Pipeline)Gst.Parse.Launch(pipeString);                

            recordingFileName = fileName;

                 recorder.SetState(Gst.State.Ready);                
            recorder.SetState(Gst.State.Paused);                
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;                

            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, Gst.Clock.Second);            

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

您必须拥有所有流的解析器，才能进行播放。所以，在输入h264流的情况下，我需要使用rtph264depay！ h264parse。此外，NALU和字节流必须匹配正确的时序。

此外，为了使文件可用，您必须在处置管道之前向下游发送EOS。

                recorder.SendEvent(Gst.Event.NewEos());
                System.Threading.Thread.Sleep(100);
                recorder.SetState(Gst.State.Paused);
                recorder.SetState(Gst.State.Ready);
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();

Answer 1

是的，这不起作用。这是你如何做到的。 Playbin2是一个模块化组件，它由一个uridecodebin和一个playinkbin组成。你可以使用和uridecodebin，设置你的媒体文件uri，添加添加了pad的信号处理程序，并将新创建的pad连接到rawtoavimux组件的sink-pad。

rawtoavimux的一个替代方案是使用encodebin。使用uridecodebin！ encodebin可能会进行智能转码，如果一个或多个流的格式已经是正确的格式，这将避免解码和重新编码。

Gstreamer：将带有两个接收器的垃圾箱链接到playbin2

1 个答案: