MediaSource API - 将多个视频追加/连接到一个缓冲区中

时间:2016-01-26 17:14:36

标签: html5 video-streaming html5-video media-source

更新:

因此我可以通过使用offsetTimestamp属性(在附加每个视频后递增它)来使其工作。

我现在的问题: 1)为什么在将MediaSource.mode设置为序列时没有正确完成?

2)为什么我的MediaSource.duration总是“无限”而不是正确的持续时间?

我正在尝试使用MediaSource API附加多个视频文件,并将其无缝播放,就像它是1个视频一样。

我根据规范(DASH-MPEG)对视频进行了正确的转码,当单独播放时,它们运行正常。

然而,当我尝试追加多个时,我遇到了段相互覆盖,持续时间不正确等问题。即使所有内容似乎都按预期执行。

我尝试过使用offsetTimestamp,但根据文档设置,MediaSource.mode到'sequence'会自动处理这个问题。此外,出于某种原因,即使在追加一个片段后,MediaSource.duration似乎也总是“无限”。

这是我的代码:

<script>
 function downloadData(url, cb) {
    console.log("Downloading " + url);

    var xhr = new XMLHttpRequest;
    xhr.open('get', url);
    xhr.responseType = 'arraybuffer';
    xhr.onload = function () {
        cb(new Uint8Array(xhr.response));
    };
    xhr.send();
}

if (MediaSource.isTypeSupported('video/mp4; codecs="avc1.64001E"')) {
    console.log("mp4 codec supported");
}

var videoSources = [
    "{% static 'mp4/ff_97.mp4' %}",
    "{% static 'mp4/ff_98.mp4' %}",
    "{% static 'mp4/ff_99.mp4' %}",
    "{% static 'mp4/ff_118.mp4' %}"
]

var mediaSource = new MediaSource();


mediaSource.addEventListener('sourceopen', function(e) {


    var sourceBuffer = mediaSource.addSourceBuffer('video/mp4; codecs="avc1.64001E"');
    sourceBuffer.mode = 'sequence';

    console.log('SourceBuffer mode set to ' + sourceBuffer.mode);

    sourceBuffer.addEventListener('updateend', function(e) {
        console.log('Finished updating buffer');
        console.log('New duration is ' + String(mediaSource.duration));

        if (videoSources.length == 0) {
            mediaSource.endOfStream();
            video.currentTime = 0;
            video.play();
            return;
        }

        downloadData(videoSources.pop(), function(arrayBuffer) {
            console.log('Finished downloading buffer of size ' + String(arrayBuffer.length));
            console.log('Updating buffer');
            sourceBuffer.appendBuffer(arrayBuffer);
        });

        console.log('New duration: ' + String(mediaSource.duration));

    });

    downloadData(videoSources.pop(), function(arrayBuffer) {
        console.log('Finished downloading buffer of size ' + String(arrayBuffer.length));
        console.log('Updating buffer');
        sourceBuffer.appendBuffer(arrayBuffer);
    });



}, false);

var video = document.querySelector('video');
video.src = window.URL.createObjectURL(mediaSource);

以下是日志:

mp4 codec supported
(index):78 SourceBuffer mode set to sequence
(index):45 Downloading /static/mp4/ff_118.mp4
(index):103 Finished downloading buffer of size 89107
(index):104 Updating buffer
(index):81 Finished updating buffer
(index):82 New duration is Infinity
(index):45 Downloading /static/mp4/ff_99.mp4
(index):98 New duration: Infinity
(index):92 Finished downloading buffer of size 46651
(index):93 Updating buffer
(index):81 Finished updating buffer
(index):82 New duration is Infinity
(index):45 Downloading /static/mp4/ff_98.mp4
(index):98 New duration: Infinity
(index):92 Finished downloading buffer of size 79242
(index):93 Updating buffer
(index):81 Finished updating buffer
(index):82 New duration is Infinity
(index):45 Downloading /static/mp4/ff_97.mp4
(index):98 New duration: Infinity
(index):92 Finished downloading buffer of size 380070
(index):93 Updating buffer
(index):81 Finished updating buffer
(index):82 New duration is Infinity

1 个答案:

答案 0 :(得分:4)

  

2)为什么我的MediaSource.duration总是“无限”而不是正确的持续时间?

您需要调用MediaSource.endOfStream(),以便MediaSource对象计算其SourceBuffer中段的实际持续时间。我看到您正在执行此操作,但看起来您在调用MediaSource.duration之前尝试访问endOfStream()。我建议您阅读MSE规范中的end of stream algorithm,您会注意到它会导致调用duration change algorithm

如果您希望在调用<video>之前让MediaSource.endOfStream()元素报告一段时间,您实际上可以根据自己的估算使用MediaSource.duration 设置一个值附加的段。

  

1)为什么在将MediaSource.mode设置为序列时没有正确完成?

据我所知,应该这样做。但是我自己更喜欢显式的timestampOffset方法,因为它在想要在缓冲区中远远追加段时提供了更大的灵活性(即,如果用户在当前缓冲区末端之前寻找方式,则需要开始加载+在差距之后追加)。虽然我很欣赏在你的用例中寻求我不是一个要求。