Question

实际上，我已经能够生成时间戳，并且它可以与一些过滤器（多路复用器）配合使用，但由于我希望能够使用GDCL MP4 Multiplexer Filter，我想讨论我计算样本时间值的方法。 / p>

奇怪的是，如果我将Smart Tee Filter放在RTSP Source Filter和GDCL MP4 Multiplexer Filter之间，那么一切似乎都是通过工作来实现的。我能够正确捕获视频流。但是如果没有Smart Tee Filter，我仍然能够捕获视频，但这次是周期性的故障。据我所知，Smart Tee Filter除了提供双输出引脚（一个带有时间戳（捕获引脚）和一个没有时间戳（预览引脚）并且两个引脚共享相同的流缓冲区之外没有太大作用。所以，我想到的是Smart Tee Filter正在重新组织像时间戳这样的东西。但是，如果我不生成时间戳，Smart Tee Filter也不会生成这些值。我目前的猜测是，我正在正确计算帧开始时间，但帧停止时间不正确，Smart Tee Filter正在重新计算帧停止时间（当然这只是猜测）。

我曾经计算过开始和停止时间，如下面的公式。

startTime = now
timeDelta = now - previousFrame
endTime = startTime + timeDelta

这不是确切的公式，但它很接近。结果如下。

Media Time/Time: 0-1    0-0
Media Time/Time: 1-2    500028-1000056
Media Time/Time: 2-3    930053-1360078
Media Time/Time: 3-4    1610092-2290131
Media Time/Time: 4-5    2200126-2790160
Media Time/Time: 5-6    2900166-3600206
Media Time/Time: 6-7    3500200-4100234
Media Time/Time: 7-8    4240242-4980284
Media Time/Time: 8-9    4720270-5200298
Media Time/Time: 9-10   5350306-5980342
Media Time/Time: 10-11  5980342-6610378
Media Time/Time: 11-12  6610378-7240414
Media Time/Time: 12-13  7250414-7890450
Media Time/Time: 13-14  7880450-8510486
Media Time/Time: 14-15  8510486-9140522
Media Time/Time: 15-16  9140522-9770558
Media Time/Time: 16-17  9780559-10420596
Media Time/Time: 17-18  10410595-11040631
Media Time/Time: 18-19  11040631-11670667
Media Time/Time: 19-20  11680668-12320705
Media Time/Time: 20-21  12310704-12940740
Media Time/Time: 21-22  12940740-13570776
Media Time/Time: 22-23  13600778-14260816
Media Time/Time: 23-24  14220813-14840848
Media Time/Time: 24-25  14840849-15460885
Media Time/Time: 25-26  15480885-16120921
Media Time/Time: 26-27  16110921-16740957
Media Time/Time: 27-28  16740957-17370993
Media Time/Time: 28-29  17380994-18021031
Media Time/Time: 29-30  18011030-18641066
Media Time/Time: 30-31  18631065-19251100

这些是由SetMediaTime（）和SetTime（）方法设置的媒体时间和时间值（均为启动 - 停止格式）。我看到的问题是一些开始/结束时间在顺序帧中重叠。当然这是由抖动因素等引起的。如果我根据前一帧计算时间增量，并且如果下一帧到达的时间早于预期，则发生重叠。所以，我对我的代码做了一点改动。我的最终代码如下所示。

        _FILETIME fileTime;
        GetSystemTimeAsFileTime(&fileTime);
        now = ((((__int64)fileTime.dwHighDateTime << 32) + fileTime.dwLowDateTime) - streamReader->rtpProtocolHandler->m_iReferenceTime);
        timeDelta = now - m_iFrameTimePrevious;
        m_iFrameTime = max(now, m_iFrameTime);
        m_iFrameTimePrevious = m_iFrameTime;
        REFERENCE_TIME rtStart = m_iFrameTime;
        REFERENCE_TIME rtStop;
        if(timeDelta > 0) {
            m_iFrameTime += timeDelta;
            rtStop = m_iFrameTime;
        } else {
            rtStop = rtStart;
        }
        pSample->SetTime(&rtStart, &rtStop);
        pSample->SetMediaTime(&m_iMediaTime, &(++m_iMediaTime));

结果是这样的：

Media Time/Time: 0-1 0-0
Media Time/Time: 1-2 470027-940054
Media Time/Time: 2-3 940054-1380079
Media Time/Time: 3-4 1580091-2220128
Media Time/Time: 4-5 2220128-2810161
Media Time/Time: 5-6 2870164-3520200
Media Time/Time: 6-7 3520200-4110234
Media Time/Time: 7-8 4170239-4820278
Media Time/Time: 8-9 4820278-5420312
Media Time/Time: 9-10 5470313-6120348
Media Time/Time: 10-11 6120348-6720382
Media Time/Time: 11-12 6770387-7420426
Media Time/Time: 12-13 7420426-8060463
Media Time/Time: 13-14 8060463-8630494
Media Time/Time: 14-15 8630494-9140521
Media Time/Time: 15-16 9260530-9890566
Media Time/Time: 16-17 9890566-10490600
Media Time/Time: 17-18 10560604-11230642
Media Time/Time: 18-19 11230642-11840677
Media Time/Time: 19-20 11860679-12490716
Media Time/Time: 20-21 12490716-13090750
Media Time/Time: 21-22 13170754-13850792
Media Time/Time: 22-23 13850792-14450826
Media Time/Time: 23-24 14460827-15070862
Media Time/Time: 24-25 15070862-15680897
Media Time/Time: 25-26 15760902-16450942
Media Time/Time: 26-27 16450942-17060977
Media Time/Time: 27-28 17100978-17751014
Media Time/Time: 28-29 17751014-18171038
Media Time/Time: 29-30 18171040-18591066
Media Time/Time: 30-31 18771074-19371108

这次没有重叠，但所有故障仍然存在。我做错了什么？

请记住，我的源滤波器可与其他mp4复用器配合使用，如果我将Smart Tee滤波器放在中间，它也适用于GDCL MP4 Muxer。

Answer 1

使用RTSP / RTP / RTCP时，我建议使用RTP时间戳进行样本显示时间（偏移为零）。

如何确定每个帧完全相同的持续时间？根据我的经验，无论是使用实时源还是基于文件的媒体，情况从未如此。您的用例当然可能有所不同。

此外，通过计算时间戳，您无法同步多个RTP流，比如音频和视频。这是RTCP发件人报告的原因之一。

Answer 2

问题不是由时间戳引起的，而是某种缓冲区损坏。 Smart Tee过滤器可能通过丢弃无效帧或提供我的源过滤器中丢失的帧队列来解决问题。当我用适当的队列机制改变我的错误共享缓冲区时，一切都开始正常工作。

感谢Geraint Davies的大力支持和他解决问题的调试工具。

如何在RTSP源过滤器中生成样本时间戳？

2 个答案: