Question

通常通过向浏览器提供整个opus编码文件来使用对opus音频编解码器的Web浏览器支持，例如，这已知适用于firefox和chrome。我的方案不同之处在于我将opus数据包从服务器传输到浏览器。在linux服务器上，我使用opus_encode_float对音频进行编码。它通过WebSocket传送到Web浏览器客户端。在浏览器中，我使用Web Audio API的decodeAudioData来尝试解码相同的数据。它在firefox和chrome中失败，并带有null异常。

对我来说这应该有用，如果不是去年那么Real Soon Now。任何人都可以告诉我浏览器中opus实现的状态，或者告诉我我做错了什么？提前谢谢。

// .h
#define OPUS_FRAME_SIZE 1920
#define MAX_FRAME_SIZE 6*OPUS_FRAME_SIZE
#define MAX_PACKET_SIZE (4*OPUS_FRAME_SIZE)

class OpusEncoder;  // forward declaration as we don't want to include opus.h here
class xxx  {
    OpusEncoder *encoder;   // Holds the state of the opus encoder
    unsigned char opusOutBuf[MAX_PACKET_SIZE];
}

// .cpp
#include <opus.h>
#define CHANNELS 2
#define SAMPLE_RATE 48000
#define APPLICATION OPUS_APPLICATION_AUDIO
#define BITRATE 64000

// one time code
// Create a new encoder state
int err;
encoder = opus_encoder_create(SAMPLE_RATE, CHANNELS, APPLICATION, &err);
if (err<0)
{
    LogIt(prError) << "Failed to create an Opus encoder: " << opus_strerror(err);
    return;
}
err = opus_encoder_ctl(encoder, OPUS_SET_BITRATE(BITRATE));
if (err<0)
{
    LogIt(prError) << "Opus failed to set bitrate: " << opus_strerror(err);
    return ;
}


// per packet code
int nbBytes = opus_encode_float(encoder, IncomingAudio, OPUS_FRAME_SIZE, opusOutBuf, MAX_PACKET_SIZE);
if (nbBytes < 0)
{
    LogIt(prError) << "Opus encode failed: " << opus_strerror(nbBytes);
    return;
}


// Client side javascript
// OpusEncodedArrayBuffer is an unmodified binary packet that 
// arrived via websocket onmessage(evt); it is evt.data
window.context.decodeAudioData(OpusEncodedArrayBuffer, function(buffer) { // use "classic" callback
    if (buffer) {   // I would LIKE to arrive here, but so far no joy.
       // ...
    }
},
function(e){
    if (e) {
        tell("error in decodeAudioData: " + e)  // I haven't seen this case yet
    } else {          // This ALWAYS happens, using latest firefox or chrome
        tell("error in decodeAudioData"); // webaudio api spec says decodeAudioData does not return an object error
    }
});

Answer 1

Chrome的decodeAudioData函数不支持opus。在这个问题上存在一个漏洞。

为什么opus_encode_float输出可接受的decodeAudioData输入？

1 个答案: