Question

对于一个项目，我正在从Java服务器通过WebSockets检索实时音频流。在服务器上，我正在以8位有符号字节值的形式处理16Bit / 8000hz / mono中的样本（两个字节组成一个样本）。但是，在浏览器上，支持的最低采样率为22050赫兹。所以我的想法是“简单地”对现有的8000到32000赫兹进行上采样，这是支持的，在我看来就像一个简单的计算。

到目前为止，我已经尝试了linear upsampling和cosine interpolation，但两者都没有用。除了听起来真的扭曲之外，第一个还添加了一些咔哒声。我也可能在Chrome中使用WebAudioAPI时出现问题，但至少声音正在播放，几乎无法识别它应该是什么。所以我想没有编解码器或结束问题。

这是在收到带有声音数据的二进制数据包时执行的完整代码。为了简单起见，我一直在创建新的缓冲区和缓冲区（是的，对性能没有好处）。 data是一个ArrayBuffer。首先，我将样本转换为Float，然后我进行上采样。

//endianess-aware buffer view
var bufferView=new DataView(data),
//the audio buffer to set for output
buffer=_audioContext.createBuffer(1,640,32000),
//reference to underlying buffer array
buf=buffer.getChannelData(0),
floatBuffer8000=new Float32Array(160);


//16Bit => Float
for(var i=0,j=null;i<160;i++){
    j=bufferView.getInt16(i*2,false);
    floatBuffer8000[i]=(j>0)?j/32767:j/-32767;
}   

//convert 8000 => 32000
var point1,point2,point3,point4,mu=0.2,mu2=(1-Math.cos(mu*Math.PI))/2;
for(var i=0,j=0;i<160;i++){
    //index for dst buffer
    j=i*4;

    //the points to interpolate between
    point1=floatBuffer8000[i];
    point2=(i<159)?floatBuffer8000[i+1]:point1;
    point3=(i<158)?floatBuffer8000[i+2]:point1;
    point4=(i<157)?floatBuffer8000[i+3]:point1;


    //interpolate
    point2=(point1*(1-mu2)+point2*mu2);
    point3=(point2*(1-mu2)+point3*mu2);
    point4=(point3*(1-mu2)+point4*mu2);

    //put data into buffer
    buf[j]=point1;
    buf[j+1]=point2;
    buf[j+2]=point3;
    buf[j+3]=point4;
}

//playback
var node=_audioContext.createBufferSource(0);
node.buffer=buffer;
node.connect(_audioContext.destination);
node.noteOn(_audioContext.currentTime);

Answer 1

终于找到了解决方案。从16Bit到Float的转换是错误的，它只需要

floatBuffer8000[i]=j/32767.0;

此外，使用大量小样本为API提供效果不佳，因此您需要缓冲一些样本并将它们一起播放。

使用WebAudioApi在Javascript中对音频PCM数据进行上采样

1 个答案: