我正在尝试构建一个直播由Android手机捕获的视频和音频的系统。使用MediaRecorder在android端捕获视频和auido,然后直接推送到用python编写的服务器。客户端应该使用他们的浏览器访问这个实时源,因此我使用flash实现了系统的流式部分。目前,视频和音频内容都出现在客户端,但问题是它们不同步。我确定这是由闪存中错误的时间戳值引起的(目前我为一帧视频增加了60毫秒,但显然这个值应该是可变的。)
音频在Android手机上被编码为amr,所以我确切地知道amr的每一帧都是20ms。然而,视频不是这种情况,它被编码为H.264。为了将它们同步在一起,我必须确切知道H.264每帧的持续时间是多少毫秒,以便我可以在以后使用闪存提供内容时给它们加时间戳。我的问题是在H.264的NAL单元中可以获得这种信息吗?我试图在H.264标准中找到答案,但那里的信息是压倒性的。
有人可以指出我正确的方向吗?感谢。
答案 0 :(得分:1)
时间戳不是NAL单位,但通常是RTP的一部分。 RTP / RTCP还负责媒体同步。
您可能也会对RTP payload format for H.264感兴趣。
如果您不使用RTP,是否只是通过网络发送原始数据单元?