我的主要目标是能够将音频从一台设备流传输到LAN中的另一台设备。我打算通过将mp3-文件读入byte [](我已经开始工作)并将其作为udp-packet发送到第二台设备并在第二台设备上播放(如果这样的话,我会告诉您)错误的方法)。我目前一直在玩我的字节数组。我使用mp3中的decoder(path, startMs, durationMs)
函数读取了文件。目前,我能够听到音频,但是在每次滴答声之后(这是我读取文件的部分),我在几毫秒内都听不到任何声音,这会导致收听效果差。我认为这与Buffer-Size有关,并尝试了一些操作,但这并没有真正改变什么,而是添加了AudioTrack.WRITE_NON_BLOCKING
。我还考虑过将每个for()循环放在不同的线程中,但这根本不起作用(这很有意义)。我也已经尝试过先读取文件,然后将我的byte []放在Arraylist中,因为这可能是由于文件读取速度较慢而引起的,但是仍然是相同的体验。知道Log.e("DEBUG", "Length " + data.length);
仅在每个刻度线处显示,这也可能会有所帮助,这意味着写入也仅在每个刻度线处发生(这可能是问题所在)。如何摆脱歌曲中的空白部分?
这是单击按钮时我执行的代码:
song.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
Thread thrd = new Thread(new Runnable() {
@Override
public void run() {
try {
int tick = 1000;
int max = 9000;
int sampleRate = 44100;
int bufSize = AudioTrack.getMinBufferSize(sampleRate*4, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT);
byte[] data = decode(path, 0, tick);
AudioTrack track = new AudioTrack(AudioManager.STREAM_MUSIC,
44100, AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, bufSize,
AudioTrack.MODE_STREAM, AudioTrack.WRITE_NON_BLOCKING);
track.play();
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
for(int i = tick; i < max; i+=tick) {
data = decode(path, i, tick);
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
}
} catch (IOException e) {
e.printStackTrace();
}
}
});
thrd.start();
}
});
我的decode()
函数(基于this tutorial)与JLayer 1.0.1:
public static byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
float totalMs = 0;
boolean seeking = true;
File file = new File(path);
InputStream inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
try {
Bitstream bitstream = new Bitstream(inputStream);
Decoder decoder = new Decoder();
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
} else {
totalMs += frameHeader.ms_per_frame();
if (totalMs >= startMs) {
seeking = false;
}
if (!seeking) {
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
} finally {
inputStream.close();
}
return outStream.toByteArray();
}
我认为解码功能不是问题,因为返回的byte []似乎还不错。也许稍后可以优化读取过程,当我真正传输音频并始终读取大约10ms的部分时,始终打开和关闭文件可能是个问题。
答案 0 :(得分:1)
原来的根本原因是:您正在使用decode()
函数,而该函数并不是专门为它设计的。即使看起来decode()
可以让您以随机访问的方式解码.mp3流的任何部分,实际上返回的音频的前几毫秒都是始终静音,无论您是否从歌曲的开头或中间开始。这种沉默造成了“差距”。显然,decode()
函数的目的是为了使重新开始在随机位置播放,例如由于用户“寻求”。
decode()
之所以如此,是因为为了解码第N个压缩数据块,解码器需要块N-1 和块N。与块对应的解压缩数据N会很好,但是块N-1的数据将具有这种“淡入”声音。这是.mp3解码器的一般功能,我知道AAC也会发生这种情况。同时,对块N + 1,N + 2,N + 3等进行解码没问题,因为在每种情况下,解码器已经具有前一个块。
一种解决方案是更改decode()
函数:
private Decoder decoder;
private float totalMs;
private Bitstream bitstream;
private InputStream inputStream;
//call this once, when it is time to start a new song:
private void startNewSong(String path) throws IOException
{
decoder = new Decoder();
totalMs = 0;
File file = new File(path);
inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
bitstream = new Bitstream(inputStream);
}
private byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
try {
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
inputStream.close(); //Note this change. Now, the song is done. You can also clean up the decoder here.
} else {
totalMs += frameHeader.ms_per_frame();
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
}
return outStream.toByteArray();
}
该代码有点粗糙并且可以使用,可以进行一些改进。但是一般的方法是,decode()
使用FSM来解码更多的歌曲,而不是随机访问。读取文件的更多内容,并将更多的块发送给解码器。由于每次调用bitstream
之间都会保留解码器(和decode()
)状态,因此无需去寻找N-1块。
UDP和流
UDP方法的有效性取决于很多因素。您可能需要寻找其他特别解决的问题。 UDP可以方便地广播到给定子网中的多个设备,但是它不能帮助您确保按顺序接收数据包或根本不接收数据包。您可能需要TCP。还考虑是否要传输编码的.mp3块(由bitstream.readFrame()
返回的块)或解压缩的音频块。还要考虑如何处理网络延迟,连接断开和缓冲。在这里要做出许多困难的设计决策,每种选择都有其优缺点。祝你好运。