sdp错误会导致流损坏吗？

Question

我正在尝试使用GStreamer（rpicamsrc）从我的Raspberry Pi获取RTP（通过udp）实时流（h264）。正在使用Kurento Media Server捕获视频并将其转发到浏览器，即RPi-> KMS-> Browser。

流经过大约4s的延迟（虽然不理想，但还可以），但是显示的内容似乎已损坏，我不确定为什么。

流显示损坏：

一些同事提出隔行扫描/ p帧（？）的问题，但我对此一无所知，也不知道我应该寻找什么。

接收器的SDP损坏

String rtpSdpOffer =
    "v=0\r\n"
    + "o=- 0 0 IN IP4 " + senderIp + "\r\n"
    + "s=Kurento Tutorial - RTP Player\r\n"
    + "c=IN IP4 " + senderIp + "\r\n"
    + "t=0 0\r\n";

if (useAudio) {
  rtpSdpOffer +=
      "m=audio " + senderRtpPortA + " RTP/AVPF 96\r\n"
      + "a=rtpmap:96 opus/48000/2\r\n"
      + "a=sendonly\r\n"
      + sdpComediaAttr
      + "a=ssrc:" + senderSsrcA + " cname:" + senderCname + "\r\n";
}

rtpSdpOffer +=
    "m=video " + senderRtpPortV + " " + senderProtocol + " 103\r\n"
    + sdpCryptoAttr
    + "a=rtpmap:103 " + senderCodecV + "/90000\r\n"
    + "a=rtcp-fb:103 goog-remb\r\n"
    + "a=sendonly\r\n"
    + sdpComediaAttr
    + "a=ssrc:" + senderSsrcV + " cname:" + senderCname + "\r\n"
    + "";

Gstreamer脚本开始流式播放

    PEER_A={KMS_AUDIO_PORT} PEER_V={KMS_VIDEO_PORT} PEER_IP={KMS_PUBLIC_IP} \
SELF_PATH="{PATH_TO_VIDEO_FILE}" \
SELF_A=5006 SELF_ASSRC=445566 \
SELF_V=5004 SELF_VSSRC=112233 \
bash -c 'gst-launch-1.0 -e \
    rtpbin name=r sdes="application/x-rtp-source-sdes,cname=(string)\"user\@example.com\"" \
    rpicamsrc ! video/x-raw,width=200,height=150,framerate=25/1 ! decodebin name=d \
    d. ! x264enc tune=zerolatency \
        ! rtph264pay ! "application/x-rtp,payload=(int)103,clock-rate=(int)90000,ssrc=(uint)$SELF_VSSRC" \
        ! r.send_rtp_sink_1 \
    r.send_rtp_src_1 ! udpsink host=$PEER_IP port=$PEER_V bind-port=$SELF_V \
    r.send_rtcp_src_1 ! udpsink host=$PEER_IP port=$((PEER_V+1)) bind-port=$((SELF_V+1)) sync=false async=false \
    udpsrc port=$((SELF_V+1)) ! tee name=t \
        t. ! queue ! r.recv_rtcp_sink_1 \
        t. ! queue ! fakesink dump=true async=false'

非常感谢您的帮助

Answer 1

SDP可能导致损坏。如果您要在其中传输的编解码器数据与流不匹配。但是看来您不是通过SDP传输编解码器数据-而是在带内传输。

图像中的伪像看起来像是行字节/跨度问题。可能是由您的视频尺寸引起的。建议使用16的倍数分辨率。但是它仍然可以正常工作。解码器/渲染器可能做了一些奇怪的事情。我将尝试接收该流并将其保存到文件中，然后在常规视频播放器中观看，并检查其是否显示更好以及正在报告哪些视频尺寸。