媒体来源扩展无效

时间:2014-06-12 23:41:21

标签: javascript video-streaming html5-video webm media-source

我正在尝试使用MediaSource API将单独的WebM视频附加到单个来源。

我发现了Github project正在尝试相同的事情,其中​​加载了WebM的播放列表,并且每个都附加为SourceBuffer。但它是一年前最后一次提交的,因此与current spec不同步。所以我forked it并更新到最新的API属性/方法,以及一些重组。大部分现有代码都是直接从规范的examplesEric Bidelman’s test page中获取的。

然而,我无法按预期工作。我正在两台浏览器中进行测试,两者都在Mac OS X 10.9.2上:Chrome 35 stable(编写本文时最新版)和Firefox 30 beta版,标志media.mediasource.enabled设置为true左右:config(在FF 25之前不会引入此功能,当前稳定为24)。

以下是我遇到的问题。

两种浏览器

我希望视频最终是一个由11个WebM组成的长视频(00.webm,01.webm,...,10.webm)。现在,每个浏览器只播放1段视频。

极不一致的行为。似乎无法可靠地重现任何这些错误。

  • 有时视频是空白的,或者中间有一个高大的黑条,无法播放。
  • 有时视频会在01.webm的第一帧加载和暂停。
  • 有时,视频会播放02.webm的几帧并暂停,只加载前三段。
  • “播放”按钮最初显示为灰色。
  • 按下灰色的“播放”按钮会产生极不一致的行为。有时,它会加载黑色,无法播放的视频。其他时候,它将播放第一段,然后,当你到达结尾时,它会停止,当你再次按下播放/暂停时,它将加载下一段。即便如此,它有时会跳过细分并陷入04.webm。无论如何,它永远不会播放最终片段,即使控制台将报告通过所有缓冲区。

每次都是不同的。我不能在这里列出所有内容。

已知警告:Chrome目前尚未实施sourceBuffer.mode,但我不知道这可能产生什么影响。

火狐

  1. 只播放00.webm。总运行时间为0:08,即该视频的长度。
  2. 视频搜索不起作用。 (这可能是预期的行为,因为onSeeking事件处理程序中实际上没有发生任何事情。)
  3. 完成后无法重新启动视频。
  4. 我的初步理论是,这与mediaSource.sourceBuffers[0].timestampOffset = durationduration = mediaSource.duration有关。但是除了mediaSource.duration之外,我似乎无法从NaN获得任何回复,即使我正在追加新的细分。

    完全迷失在这里。非常感谢指导。

    编辑:我取消注释了代码的持续时间部分,并在Aaron Colwell's Media Source Extension Tools上运行了mse_webm_remuxer(感谢Adam Hart提供的所有视频提示) 。瞧,Chrome中没有更多不可预测的故障!但是,唉,一旦媒体片段结束,它仍会暂停,即使你按下播放,它有时会卡在一帧上。

    在Firefox测试版中,它不会播放第一段,而是以:

    回复
      

    TypeError:赋给SourceBuffer.timestampOffset的值不是有限的浮点值。

    记录duration的值会返回NaN(但仅限于FF)。

2 个答案:

答案 0 :(得分:4)

主要问题在于视频文件。如果您打开chrome://media-internals/,则可以看到error Media segment did not begin with keyframe.使用格式正确的视频,例如the one from Eric Bidelman's example(我希望他不会生气,因为我会直接链接到该视频,但它&# 39;是我发现的唯一可行的视频示例),您的代码可以使用appendNextMediaSegment()中的以下更改:

duration = mediaSource.duration;
mediaSource.sourceBuffers[0].timestampOffset = duration;
mediaSource.sourceBuffers[0].appendBuffer(mediaSegment);

您可以尝试Aaron Colwell's Media Source Extension Tools尝试让您的视频正常运行,但我的成功有限。

在添加片段之前,您正在查看onProgress事件似乎有点奇怪,但我想如果您只想在视频实际播放时添加,则可能会有效。由于视频长度未知,它可能使搜索栏变为奇数,但在任何情况下都可能是一个问题。

答案 1 :(得分:0)

我同意亚当·哈特所说的意见。使用webm文件,我尝试实现像http://html5-demos.appspot.com/static/media-source.html这样的示例,然后得出结论,它的问题导致了我使用的源文件。

如果您还有一个箭头,那么尝试使用https://developer.mozilla.org/en-US/docs/Web/HTML/DASH_Adaptive_Streaming_for_HTML_5_Video中介绍的“samplemuxer”会怎样? 在我看来,samplemuxer是像FFMPEG这样的编码器之一。

我发现转换后的文件适用于mediaSource API。如果您也看到它有效,请告诉我。

<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8" />
    <title>MediaSource API Demo</title>
</head>
<body>

<h3>Appending .webm video chunks using the Media Source API</h3>

<section>
    <video controls autoplay width="320" height="240"></video>
    <pre id="log"></pre>
</section>


<script>
    //ORIGINAL CODE http://html5-demos.appspot.com/static/media-source.html

    var FILE = 'IU_output2.webm';

    var NUM_CHUNKS = 5;
    var video = document.querySelector('video');

    var mediaSource = new MediaSource();

    video.src = window.URL.createObjectURL(mediaSource);

    function callback(e) {
        var sourceBuffer = mediaSource.addSourceBuffer('video/webm; codecs="vorbis,vp8"');

        logger.log('mediaSource readyState: ' + this.readyState);

        GET(FILE, function(uInt8Array) {
            var file = new Blob([uInt8Array], {type: 'video/webm'});
            var chunkSize = Math.ceil(file.size / NUM_CHUNKS);

            logger.log('num chunks:' + NUM_CHUNKS);
            logger.log('chunkSize:' + chunkSize + ', totalSize:' + file.size);

            // Slice the video into NUM_CHUNKS and append each to the media element.
            var i = 0;

            (function readChunk_(i) {
                var reader = new FileReader();

                // Reads aren't guaranteed to finish in the same order they're started in,
                // so we need to read + append the next chunk after the previous reader
                // is done (onload is fired).
                reader.onload = function(e) {

                    try {
                        sourceBuffer.appendBuffer(new Uint8Array(e.target.result));
                        logger.log('appending chunk:' + i);
                    }catch(e){
                        console.log(e);
                    }

                    if (i == NUM_CHUNKS - 1) {
                        if(!sourceBuffer.updating)
                             mediaSource.endOfStream();
                    } else {
                        if (video.paused) {
                            video.play(); // Start playing after 1st chunk is appended.
                        }

                        sourceBuffer.addEventListener('updateend', function(e){
                            if( i < NUM_CHUNKS - 1 )
                                readChunk_(++i);
                        });
                    } //end if
                };

                var startByte = chunkSize * i;
                var chunk = file.slice(startByte, startByte + chunkSize);

                reader.readAsArrayBuffer(chunk);
            })(i);  // Start the recursive call by self calling.
        });
    }

    mediaSource.addEventListener('sourceopen', callback, false);
//    mediaSource.addEventListener('webkitsourceopen', callback, false);
//
//    mediaSource.addEventListener('webkitsourceended', function(e) {
//        logger.log('mediaSource readyState: ' + this.readyState);
//    }, false);

    function GET(url, callback) {
        var xhr = new XMLHttpRequest();
        xhr.open('GET', url, true);
        xhr.responseType = 'arraybuffer';
        xhr.send();

        xhr.onload = function(e) {
            if (xhr.status != 200) {
                alert("Unexpected status code " + xhr.status + " for " + url);
                return false;
            }
            callback(new Uint8Array(xhr.response));
        };
    }
</script>
<script>
    function Logger(id) {
        this.el = document.getElementById('log');
    }
    Logger.prototype.log = function(msg) {
        var fragment = document.createDocumentFragment();
        fragment.appendChild(document.createTextNode(msg));
        fragment.appendChild(document.createElement('br'));
        this.el.appendChild(fragment);
    };

    Logger.prototype.clear = function() {
        this.el.textContent = '';
    };

    var logger = new Logger('log');
</script>
</body>
</html>

<!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <title>MediaSource API Demo</title> </head> <body> <h3>Appending .webm video chunks using the Media Source API</h3> <section> <video controls autoplay width="320" height="240"></video> <pre id="log"></pre> </section> <script> //ORIGINAL CODE http://html5-demos.appspot.com/static/media-source.html var FILE = 'IU_output2.webm'; var NUM_CHUNKS = 5; var video = document.querySelector('video'); var mediaSource = new MediaSource(); video.src = window.URL.createObjectURL(mediaSource); function callback(e) { var sourceBuffer = mediaSource.addSourceBuffer('video/webm; codecs="vorbis,vp8"'); logger.log('mediaSource readyState: ' + this.readyState); GET(FILE, function(uInt8Array) { var file = new Blob([uInt8Array], {type: 'video/webm'}); var chunkSize = Math.ceil(file.size / NUM_CHUNKS); logger.log('num chunks:' + NUM_CHUNKS); logger.log('chunkSize:' + chunkSize + ', totalSize:' + file.size); // Slice the video into NUM_CHUNKS and append each to the media element. var i = 0; (function readChunk_(i) { var reader = new FileReader(); // Reads aren't guaranteed to finish in the same order they're started in, // so we need to read + append the next chunk after the previous reader // is done (onload is fired). reader.onload = function(e) { try { sourceBuffer.appendBuffer(new Uint8Array(e.target.result)); logger.log('appending chunk:' + i); }catch(e){ console.log(e); } if (i == NUM_CHUNKS - 1) { if(!sourceBuffer.updating) mediaSource.endOfStream(); } else { if (video.paused) { video.play(); // Start playing after 1st chunk is appended. } sourceBuffer.addEventListener('updateend', function(e){ if( i < NUM_CHUNKS - 1 ) readChunk_(++i); }); } //end if }; var startByte = chunkSize * i; var chunk = file.slice(startByte, startByte + chunkSize); reader.readAsArrayBuffer(chunk); })(i); // Start the recursive call by self calling. }); } mediaSource.addEventListener('sourceopen', callback, false); // mediaSource.addEventListener('webkitsourceopen', callback, false); // // mediaSource.addEventListener('webkitsourceended', function(e) { // logger.log('mediaSource readyState: ' + this.readyState); // }, false); function GET(url, callback) { var xhr = new XMLHttpRequest(); xhr.open('GET', url, true); xhr.responseType = 'arraybuffer'; xhr.send(); xhr.onload = function(e) { if (xhr.status != 200) { alert("Unexpected status code " + xhr.status + " for " + url); return false; } callback(new Uint8Array(xhr.response)); }; } </script> <script> function Logger(id) { this.el = document.getElementById('log'); } Logger.prototype.log = function(msg) { var fragment = document.createDocumentFragment(); fragment.appendChild(document.createTextNode(msg)); fragment.appendChild(document.createElement('br')); this.el.appendChild(fragment); }; Logger.prototype.clear = function() { this.el.textContent = ''; }; var logger = new Logger('log'); </script> </body> </html>

另一个测试代码

<!DOCTYPE html>
<html>
<head>
    <title>MediaSource API Demo</title>
</head>
<body>

<h3>Appending .webm video chunks using the Media Source API</h3>

<section>
    <video controls autoplay width="320" height="240"></video>
    <pre id="log"></pre>
</section>


<script>
    //ORIGINAL CODE http://html5-demos.appspot.com/static/media-source.html

    var FILE = 'IU_output2.webm';
    //    var FILE =  'test_movie_output.webm';

    var NUM_CHUNKS = 10;
    var video = document.querySelector('video');

    var mediaSource = new MediaSource();

    video.src = window.URL.createObjectURL(mediaSource);

    function callback(e) {
        var sourceBuffer = mediaSource.addSourceBuffer('video/webm; codecs="vorbis,vp8"');

        logger.log('mediaSource readyState: ' + this.readyState);

        GET(FILE, function(uInt8Array) {
            logger.log('byteLength:' + uInt8Array.byteLength );

            sourceBuffer.appendBuffer(uInt8Array);

        });
    }

    mediaSource.addEventListener('sourceopen', callback, false);
    //    mediaSource.addEventListener('webkitsourceopen', callback, false);
    //
    //    mediaSource.addEventListener('webkitsourceended', function(e) {
    //        logger.log('mediaSource readyState: ' + this.readyState);
    //    }, false);

    function GET(url, callback) {
        var xhr = new XMLHttpRequest();
        xhr.open('GET', url, true);
        xhr.responseType = 'arraybuffer';
        xhr.send();

        xhr.onload = function(e) {
            if (xhr.status != 200) {
                alert("Unexpected status code " + xhr.status + " for " + url);
                return false;
            }
            callback(new Uint8Array(xhr.response));
        };
    }
</script>
<script>
    function Logger(id) {
        this.el = document.getElementById('log');
    }
    Logger.prototype.log = function(msg) {
        var fragment = document.createDocumentFragment();
        fragment.appendChild(document.createTextNode(msg));
        fragment.appendChild(document.createElement('br'));
        this.el.appendChild(fragment);
    };

    Logger.prototype.clear = function() {
        this.el.textContent = '';
    };

    var logger = new Logger('log');
</script>
</body>
</html>
感谢。