Android:音轨(流模式)在写入之间切换

时间:2019-01-16 17:39:20

标签: java android multithreading audio audiotrack

我的主要目标是能够将音频从一台设备流传输到LAN中的另一台设备。我打算通过将mp3-文件读入byte [](我已经开始工作)并将其作为udp-packet发送到第二台设备并在第二台设备上播放(如果这样的话,我会告诉您)错误的方法)。我目前一直在玩我的字节数组。我使用mp3中的decoder(path, startMs, durationMs)函数读取了文件。目前,我能够听到音频,但是在每次滴答声之后(这是我读取文件的部分),我在几毫秒内都听不到任何声音,这会导致收听效果差。我认为这与Buffer-Size有关,并尝试了一些操作,但这并没有真正改变什么,而是添加了AudioTrack.WRITE_NON_BLOCKING。我还考虑过将每个for()循环放在不同的线程中,但这根本不起作用(这很有意义)。我也已经尝试过先读取文件,然后将我的byte []放在Arraylist中,因为这可能是由于文件读取速度较慢而引起的,但是仍然是相同的体验。知道Log.e("DEBUG", "Length " + data.length);仅在每个刻度线处显示,这也可能会有所帮助,这意味着写入也仅在每个刻度线处发生(这可能是问题所在)。如何摆脱歌曲中的空白部分?

这是单击按钮时我执行的代码:

song.setOnClickListener(new View.OnClickListener() {
                @Override
                public void onClick(View view) {
                    Thread thrd = new Thread(new Runnable() {
                        @Override
                        public void run() {
                            try {
                                int tick = 1000;
                                int max = 9000;
                                int sampleRate = 44100;
                                int bufSize = AudioTrack.getMinBufferSize(sampleRate*4, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT);
                                byte[] data = decode(path, 0, tick);
                                AudioTrack track = new AudioTrack(AudioManager.STREAM_MUSIC,
                                        44100, AudioFormat.CHANNEL_OUT_STEREO,
                                        AudioFormat.ENCODING_PCM_16BIT, bufSize,
                                        AudioTrack.MODE_STREAM, AudioTrack.WRITE_NON_BLOCKING);
                                track.play();
                                track.write(data, 0, data.length);
                                Log.e("DEBUG", "Length " + data.length);
                                for(int i = tick; i < max; i+=tick) {
                                    data = decode(path, i, tick);
                                    track.write(data, 0, data.length);
                                    Log.e("DEBUG", "Length " + data.length);
                                }
                            } catch (IOException e) {
                                e.printStackTrace();
                            }
                        }
                    });
                    thrd.start();
                }
            });

我的decode()函数(基于this tutorial)与JLayer 1.0.1:

public static byte[] decode(String path, int startMs, int maxMs)
            throws IOException {
        ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);

        float totalMs = 0;
        boolean seeking = true;

        File file = new File(path);
        InputStream inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
        try {
            Bitstream bitstream = new Bitstream(inputStream);
            Decoder decoder = new Decoder();

            boolean done = false;
            while (! done) {
                Header frameHeader = bitstream.readFrame();
                if (frameHeader == null) {
                    done = true;
                } else {
                    totalMs += frameHeader.ms_per_frame();

                    if (totalMs >= startMs) {
                        seeking = false;
                    }

                    if (!seeking) {
                        SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);

                        if (output.getSampleFrequency() != 44100
                                || output.getChannelCount() != 2) {
                            Log.w("ERROR", "mono or non-44100 MP3 not supported");
                        }

                        short[] pcm = output.getBuffer();
                        for (short s : pcm) {
                            outStream.write(s & 0xff);
                            outStream.write((s >> 8) & 0xff);
                        }
                    }

                    if (totalMs >= (startMs + maxMs)) {
                        done = true;
                    }
                }
                bitstream.closeFrame();
            }
        } catch (BitstreamException e) {
            throw new IOException("Bitstream error: " + e);
        } catch (DecoderException e) {
            Log.w("ERROR", "Decoder error", e);
        } finally {
            inputStream.close();
        }
        return outStream.toByteArray();
    }

我认为解码功能不是问题,因为返回的byte []似乎还不错。也许稍后可以优化读取过程,当我真正传输音频并始终读取大约10ms的部分时,始终打开和关闭文件可能是个问题。

1 个答案:

答案 0 :(得分:1)

原来的根本原因是:您正在使用decode()函数,而该函数并不是专门为它设计的。即使看起来decode()可以让您以随机访问的方式解码.mp3流的任何部分,实际上返回的音频的前几毫秒都是始终静音,无论您是否从歌曲的开头或中间开始。这种沉默造成了“差距”。显然,decode()函数的目的是为了使重新开始在随机位置播放,例如由于用户“寻求”。

decode()之所以如此,是因为为了解码第N个压缩数据块,解码器需要块N-1 块N。与块对应的解压缩数据N会很好,但是块N-1的数据将具有这种“淡入”声音。这是.mp3解码器的一般功能,我知道AAC也会发生这种情况。同时,对块N + 1,N + 2,N + 3等进行解码没问题,因为在每种情况下,解码器已经具有前一个块。

一种解决方案是更改decode()函数:

private Decoder decoder;
private float totalMs;
private Bitstream bitstream;
private InputStream inputStream;

//call this once, when it is time to start a new song:
private void startNewSong(String path) throws IOException
{
    decoder = new Decoder();
    totalMs = 0;
    File file = new File(path);
    inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
    bitstream = new Bitstream(inputStream);
}

private byte[] decode(String path, int startMs, int maxMs)
        throws IOException {
    ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);


    try {
        boolean done = false;
        while (! done) {
            Header frameHeader = bitstream.readFrame();
            if (frameHeader == null) {
                done = true;
                inputStream.close();   //Note this change. Now, the song is done. You can also clean up the decoder here.
            } else {
                totalMs += frameHeader.ms_per_frame();

                SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);

                if (output.getSampleFrequency() != 44100
                        || output.getChannelCount() != 2) {
                    Log.w("ERROR", "mono or non-44100 MP3 not supported");
                }

                short[] pcm = output.getBuffer();
                for (short s : pcm) {
                    outStream.write(s & 0xff);
                    outStream.write((s >> 8) & 0xff);
                }

                if (totalMs >= (startMs + maxMs)) {
                    done = true;
                }
            }
            bitstream.closeFrame();
        }
    } catch (BitstreamException e) {
        throw new IOException("Bitstream error: " + e);
    } catch (DecoderException e) {
        Log.w("ERROR", "Decoder error", e);
    }
    return outStream.toByteArray();
}

该代码有点粗糙并且可以使用,可以进行一些改进。但是一般的方法是,decode()使用FSM来解码更多的歌曲,而不是随机访问。读取文件的更多内容,并将更多的块发送给解码器。由于每次调用bitstream之间都会保留解码器(和decode())状态,因此无需去寻找N-1块。

UDP和流

UDP方法的有效性取决于很多因素。您可能需要寻找其他特别解决的问题。 UDP可以方便地广播到给定子网中的多个设备,但是它不能帮助您确保按顺序接收数据包或根本不接收数据包。您可能需要TCP。还考虑是否要传输编码的.mp3块(由bitstream.readFrame()返回的块)或解压缩的音频块。还要考虑如何处理网络延迟,连接断开和缓冲。在这里要做出许多困难的设计决策,每种选择都有其优缺点。祝你好运。