Question

我正在尝试创建一个实时应用程序，实时将音频从client 1传输到client 2。

因此，在关于同一主题的一些教程和问题之后，我使用了 WebRTC 和 binaryjs 。到目前为止，这是我得到的

1- Client 1和Client 2已连接到BinaryJS以发送/接收数据块。

2- Client 1使用WebRTC录制音频并逐渐将其发送到BinaryJS

3- Client 2接收块并尝试播放它们。

好吧，我在最后一部分收到错误。这是我收到的错误消息：

未捕获的RangeError：来源太大

在Float32Array.set（native）

这是代码：

客户1

var WSClient;
var AudioStream;

function load(){
    var session = {
        audio: true,
        video: false
    };

    var recordRTC = null;

    navigator.getUserMedia(session, startRecording, onError);
    WSClient = new BinaryClient('ws://localhost:9001');
    WSClient.on('open',function(){
        console.log('client opened')
        AudioStream = WSClient.createStream();
    })
}

function startRecording(stream){
    var context = new AudioContext();
    var audio_input = context.createMediaStreamSource(stream);
    var buffer_size = 2048;

    var recorder = context.createScriptProcessor(buffer_size, 1, 1);

    recorder.onaudioprocess = function(e){
        console.log('chunk')
        var left = e.inputBuffer.getChannelData(0);
        AudioStream.write(left);
    };

    audio_input.connect(recorder);
    recorder.connect(context.destination);
}

客户端2

var WSClient;
var audioContext;
var sourceNode;

function load(){
    audioContext = new AudioContext();
    sourceNode = audioContext.createBufferSource();
    sourceNode.connect(audioContext.destination);

    sourceNode.start(0);

    WSClient = new BinaryClient('ws://localhost:9001');

    WSClient.on('open',function(){
        console.log('client opened');
    });

    WSClient.on('stream', function(stream, meta){
        // collect stream data
        stream.on('data', function(data){
            console.log('received chunk')
            var integers = new Int16Array(data);
            var audioBuffer = audioContext.createBuffer(1, 2048, 4410);
            audioBuffer.getChannelData(0).set(integers); //appearently this is where the error occurs
            sourceNode.buffer = audioBuffer;
        });
    });
}

服务器

var wav = require('wav');
var binaryjs = require('binaryjs');

var binaryjs_server = binaryjs.BinaryServer;

var server = binaryjs_server({port: 9001});

server.on('connection', function(client){
    console.log('server connected');

    var file_writter = null;

    client.on('stream', function(stream, meta){
        console.log('streaming', server.clients)
        //send to other clients
        for(var id in server.clients){
            if(server.clients.hasOwnProperty(id)){
                var otherClient = server.clients[id];
                if(otherClient != client){
                    var send = otherClient.createStream(meta);
                    stream.pipe(send);
                }
            }
        }
    });

    client.on('close', function(stream){
        console.log('client closed')
        if(file_writter != null) file_writter.end();
    });
});

此处发生错误：

audioBuffer.getChannelData(0).set(integers);

所以我有两个问题：

是否可以发送我在client 1中捕获的块，然后在client 2中重现它们？

我遇到的错误有什么处理？

谢谢你们！

@edit 1

由于我从其他问题中获取代码片段，我仍然试图理解它。我在client 2代码中注释了创建Int16Array的代码，现在我得到了一个不同的错误（但我不知道哪个版本的代码更正确）：

未捕获DOMException：无法在'AudioBufferSourceNode'上设置'buffer'属性：在设置缓冲区之后无法设置缓冲区

可能是因为每当我获得一大块新数据时我都会设置它。

Answer 1

关于AudioBufferSourceNode的DOMException意味着您需要为您正在创建的每个新AudioBufferSourceNode创建新的Audiobuffer。像

这样的东西

sourceNode = new AudioBufferSourceNode(audioContext, {buffer: audioBuffer})

AudioBuffer有Float32Array个。你需要转换你的在将Int16Array分配给Float32Array之前AudioBuffer limits = ax.get_xlim() span = limits[1] - limits[0] pos = (1 - (limits[1] - evt.xdata) / span) if evt.button == 'up': limits = ( limits[0] + span / 1.3 / 2 * pos, limits[1] - span / 1.3 / 2 * (1 - pos) ) elif evt.button == 'down': limits = ( limits[0] - span / 1.3 / 2 * pos, limits[1] + span / 1.3 / 2 * (1 - pos) )。可能足以将所有东西划分为32768。

如何播放用WebRTC录制的音频流块？

1 个答案: