Question

usergetmedia如何在Chrome中使用麦克风，然后流式传输以获取原始音频？我需要获得线性16的音频。

Answer 1

不幸的是，MediaRecorder不支持原始PCM捕获。（我认为这是一个令人遗憾的疏忽。）因此，您需要获取原始样本并自己进行缓冲/保存。

您可以使用ScriptProcessorNode进行此操作。通常，此节点用于以编程方式修改音频数据，以实现自定义效果以及不进行其他操作。但是，没有理由不能仅仅将其用作捕获点。未经测试，但请尝试以下代码：

const captureNode = audioContext.createScriptProcessor(8192, 1, 1);
captureNode.addEventListener('audioprocess', (e) => {
  const rawLeftChannelData = inputBuffer.getChannelData(0);
  // rawLeftChannelData is now a typed array with floating point samples
});

（您可以在MDN上找到更完整的示例。）

这些浮点样本以零0为中心，理想情况下将绑定到-1和1。转换为整数范围时，您需要将值限制在此范围内，将超出范围的所有内容都裁剪。（如果在浏览器中将大声声音混合在一起，则有时值可能会超过-1和1。理论上，浏览器还可以记录来自外部声音设备的float32样本，该样本也可能超出该范围，但我不知道执行此操作的任何浏览器/平台。）

转换为整数时，值是带符号还是无符号很重要。如果有符号，则为16位，范围是-32768至32767。对于未签名，它是0至65535。找出您要使用的格式，并将-1到1的值缩放到该范围。

关于此转换的最后一点说明...字节序可能很重要。另请参阅：https://stackoverflow.com/a/7870190/362536

Answer 2

我发现的两个唯一清楚且有意义的示例如下：

AWS实验室：https://github.com/awslabs/aws-lex-browser-audio-capture/blob/master/lib/worker.js

AWS资源非常好。它显示了如何将录制的音频导出为“编码为PCM的WAV格式”。 AWS提供的转录服务Amazon Lex需要对音频进行PCM编码并包装在WAV容器中。您只需修改一些代码即可使其适合您！ AWS具有一些其他功能，例如“下采样”，可让您更改采样率而不影响录制。

RecordRTC：https://github.com/muaz-khan/RecordRTC/blob/master/simple-demos/raw-pcm.html

RecordRTC是一个完整的库。您可以再次修改他们的代码，或者找到将音频编码为原始PCM的代码片段。您也可以实现他们的库并按原样使用代码。在此库中将“ desiredSampleRate”选项用于音频配置会对录制产生负面影响。

它们都是很好的资源，您肯定可以解决您的问题。

Answer 3

这是一些Web Audio API，它使用麦克风来捕获和播放原始音频（在运行此页面之前调低音量）...以PCM格式查看原始音频的片段查看浏览器控制台...以获取踢它还会将该PCM发送到FFT调用中，以获取音频曲线的频域和时域

<html><head><meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<title>capture microphone then show time & frequency domain output</title>

<script type="text/javascript">

var webaudio_tooling_obj = function () {

    var audioContext = new AudioContext();

    console.log("audio is starting up ...");

    var BUFF_SIZE_RENDERER = 16384;
    var SIZE_SHOW = 3; // number of array elements to show in console output

    var audioInput = null,
    microphone_stream = null,
    gain_node = null,
    script_processor_node = null,
    script_processor_analysis_node = null,
    analyser_node = null;

    if (!navigator.getUserMedia)
        navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia ||
    navigator.mozGetUserMedia || navigator.msGetUserMedia;

    if (navigator.getUserMedia){

        navigator.getUserMedia({audio:true}, 
            function(stream) {
                start_microphone(stream);
            },
            function(e) {
                alert('Error capturing audio.');
            }
            );

    } else { alert('getUserMedia not supported in this browser.'); }

    // ---

    function show_some_data(given_typed_array, num_row_to_display, label) {

        var size_buffer = given_typed_array.length;
        var index = 0;

        console.log("__________ " + label);

        if (label === "time") {

            for (; index < num_row_to_display && index < size_buffer; index += 1) {

                var curr_value_time = (given_typed_array[index] / 128) - 1.0;

                console.log(curr_value_time);
            }

        } else if (label === "frequency") {

            for (; index < num_row_to_display && index < size_buffer; index += 1) {

                console.log(given_typed_array[index]);
            }

        } else {

            throw new Error("ERROR - must pass time or frequency");
        }
    }

    function process_microphone_buffer(event) {

        var i, N, inp, microphone_output_buffer;

        // not needed for basic feature set
        // microphone_output_buffer = event.inputBuffer.getChannelData(0); // just mono - 1 channel for now
    }

    function start_microphone(stream){

        gain_node = audioContext.createGain();
        gain_node.connect( audioContext.destination );

        microphone_stream = audioContext.createMediaStreamSource(stream);
        microphone_stream.connect(gain_node); 

        script_processor_node = audioContext.createScriptProcessor(BUFF_SIZE_RENDERER, 1, 1);
        script_processor_node.onaudioprocess = process_microphone_buffer;

        microphone_stream.connect(script_processor_node);

        // --- enable volume control for output speakers

        document.getElementById('volume').addEventListener('change', function() {

            var curr_volume = this.value;
            gain_node.gain.value = curr_volume;

            console.log("curr_volume ", curr_volume);
        });

        // --- setup FFT

        script_processor_analysis_node = audioContext.createScriptProcessor(2048, 1, 1);
        script_processor_analysis_node.connect(gain_node);

        analyser_node = audioContext.createAnalyser();
        analyser_node.smoothingTimeConstant = 0;
        analyser_node.fftSize = 2048;

        microphone_stream.connect(analyser_node);

        analyser_node.connect(script_processor_analysis_node);

        var buffer_length = analyser_node.frequencyBinCount;

        var array_freq_domain = new Uint8Array(buffer_length);
        var array_time_domain = new Uint8Array(buffer_length);

        console.log("buffer_length " + buffer_length);

        script_processor_analysis_node.onaudioprocess = function() {

            // get the average for the first channel
            analyser_node.getByteFrequencyData(array_freq_domain);
            analyser_node.getByteTimeDomainData(array_time_domain);

            // draw the spectrogram
            if (microphone_stream.playbackState == microphone_stream.PLAYING_STATE) {

                show_some_data(array_freq_domain, SIZE_SHOW, "frequency");
                show_some_data(array_time_domain, SIZE_SHOW, "time"); // store this to record to aggregate buffer/file
            }
        };
    }

}(); //  webaudio_tooling_obj = function()

</script>

</head>
<body>

    <p>Volume</p>
    <input id="volume" type="range" min="0" max="1" step="0.1" value="0.0"/>

</body>
</html>

Answer 4

您应该查看MediaTrackConstraints.sampleSize API的MediaDevices.getUserMedia()属性。使用sampleSize约束，如果您的音频硬件允许，则可以将样本大小设置为16位。

就实施而言，这就是链接和google的目的...

如何使用Web Audio API获取原始的PCM音频？

4 个答案: