为什么我的声音会滞后?

时间:2011-03-31 14:01:14

标签: java ubuntu jar audio javasound

我正在开发一个处理声音数据的应用系统。第一个应用程序只是从麦克风插孔读取并将数据发送到下一个应用程序。主循环重复执行此代码:

0 : Globals.mySleep(waitTime); // tells the thread to sleep for the proper amount of time for a given data format  
1 : inputLine.read(buffer, 0, bufferSize); // reads sound data from the microphone jack into buffer
2 : if(connections.get(REGISTER) != null) { // if the next application is connected
3 :     DataSlice slice = new DataSlice(buffer, serialIDCounter++, getDeviceName()); // create a slice of data to send, containing the sound data
4 :     try{
5 :         connections.get(REGISTER).sendDataSlice(slice); // send the data to the next application. supposed to block until next application receives the data
6 :         connections.get(REGISTER).flush(); // make sure data gets sent
7 :     } catch (IOException e) {
8 :         // Stream has been broken. Shut Down
9 :         close();
10:     }
11: }

当我启动系统时,总是落后几秒钟。如果我暂停系统(GUI应用程序告诉应用程序在输入应用程序之后停止从输入应用程序接收数据,那么输入应用程序应该在暂停时在第5行阻塞),等待,然后再次播放,系统延迟了很长时间我刚刚暂停了。例如,如果它以10秒延迟开始,然后暂停5秒,然后再次播放,则会滞后15秒。

当我将程序作为可运行的jar文件运行时,会发生这种情况。当我从Eclipse运行它时不会发生。

我在两台运行Ubuntu Linux 10.04 LTS的计算机上测试了这个。它发生在一个而不是另一个。虽然另一方面,当我尝试从Eclipse运行它时,我确实遇到了一个完全不同的问题。不知道该怎么做。如果您想在计算机上使用某些规格,我很乐意将它们交给您。只要告诉我你想要什么样的规格以及如何获得它们。

有人能告诉我可能导致滞后的原因吗?感谢。

- 编辑 -

根据安德鲁的建议,我创建了我认为是SSCCE的内容:

import java.awt.event.MouseEvent;
import java.awt.event.MouseListener;

import javax.sound.sampled.*;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;

public class Main implements MouseListener{
    // Class that reads a signal from Line-in source and sends that signal
    // to either a recorder module or the signal-viewing pipeline
    public class PlayThread extends Thread {

        byte[] buffer = new byte[bufferSize];
        boolean playing = false;
        boolean connected = false;

        PlayThread() {}

        public void run() {
            while(true) {
                try {
                    sleep(waitTime);
                    inputLine.read(buffer, 0, bufferSize);
                    if(connected) {
                        while(!playing)
                            sleep(100);
                        int max = 0;
                        for(int i = 0; i < buffer.length; i++) {
                            if(Math.abs(buffer[i]) > max)
                                max = Math.abs(buffer[i]);
                        }
                        System.out.println("Max: " + max);
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }

        public void setPlaying(boolean playing) {
            this.playing = playing;
        }

        public void setConnected(boolean connected) {
            this.connected = connected;
        }
    }

    TargetDataLine inputLine;
    AudioFormat format;
    float sampleRate;
    int sampleSizeBits;
    int channels;
    int waitTime;
    int bufferSize;
    int slicesPerSecond;
    int windowSize = 512;
    PlayThread pThread;

    JFrame gui = new JFrame("Sound Lag");
    JPanel panel = new JPanel();
    JButton play = new JButton("Play"), pause = new JButton("Pause"),
            connect = new JButton("Connect"), disconnect = new JButton("Disconnect");

    Main() {
        sampleRate = 44100;
        sampleSizeBits = 16;
        channels = 2;
        bufferSize = (sampleSizeBits/8)*channels*windowSize;
        slicesPerSecond = (int) ((sampleRate/(float)channels)/(float)windowSize);
        waitTime = (int)((((1000f/sampleRate)/(float)sampleSizeBits)/2f)*8f*(float)bufferSize);

        play.addMouseListener(this);
        pause.addMouseListener(this);
        connect.addMouseListener(this);
        disconnect.addMouseListener(this);

        panel.add(play);
        panel.add(pause);
        panel.add(connect);
        panel.add(disconnect);
        gui.add(panel);
        gui.setVisible(true);
        gui.pack();
        gui.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
    }

    public void read() {
        // Open line from line-in
        format = new AudioFormat(sampleRate, sampleSizeBits, channels, true, true);

        // Obtain and open the lines.
        inputLine = getTargetDataLine();

        pThread = new PlayThread();
        pThread.start();
    }

    private TargetDataLine getTargetDataLine() {
        try {
            DataLine.Info info = new DataLine.Info(TargetDataLine.class, format);
            for (Mixer.Info mi : AudioSystem.getMixerInfo()) {
                TargetDataLine dataline = null;
                try {
                    Mixer mixer = AudioSystem.getMixer(mi);
                    dataline = (TargetDataLine)mixer.getLine(info);
                    dataline.open(format);
                    dataline.start();
                    return dataline;
                }
                catch (Exception e) {}
                if (dataline != null)
                    try {
                        dataline.close();
                    }
                    catch (Exception e) {}
            }
        }
        catch (Exception e) {}
        return null;
    }

    public static void main(String[] args) {
        Main main = new Main();
        main.read();
    }

    @Override
    public void mouseClicked(MouseEvent arg0) {
        if(arg0.getSource() == play) {
            System.out.println("Playing");
            pThread.setPlaying(true);
        }
        else if(arg0.getSource() == pause) {
            System.out.println("Paused");
            pThread.setPlaying(false);
        }
        else if(arg0.getSource() == connect) {
            System.out.println("Connected");
            pThread.setConnected(true);
        }
        else if(arg0.getSource() == disconnect) {
            System.out.println("Disconnected");
            pThread.setConnected(false);
        }
    }

    @Override public void mouseEntered(MouseEvent arg0) {}
    @Override public void mouseExited(MouseEvent arg0) {}
    @Override public void mousePressed(MouseEvent arg0) {}
    @Override public void mouseReleased(MouseEvent arg0) {}
}

此代码生成一个窗口,其中包含四个按钮:播放,暂停,连接和断开连接。如果按下播放,就好像程序处于“播放”模式一样。如果单击“连接”,就好像声音输入应用程序已连接到下一个模块一样 要进行测试,请执行以下操作:
将声音设备连接到麦克风插孔(但不要播放任何东西) 从此代码创建可运行的jar文件 从终端运行该文件 点击“播放”。
点击“连接”。

此时,你应该看到一堆较小的数字从终端开始。

在您的声音设备上,开始播放声音。

你应该立即开始在终端看到更大的数字。

停止在声音设备上播放声音(应该回到终端中较小的数字) 点击“暂停”。
等5秒钟 点击“播放”。

开始使用音频设备播放声音。

这就是bug的来源。如果我在Eclipse中运行此代码,我会立即再次获得更大的数字。如果我只是运行jar文件,有5秒的延迟,那么我得到更大的数字。

有任何新想法吗?

3 个答案:

答案 0 :(得分:2)

这是固定的。每当我想要播放声音流时(无论何时按下播放),我都会关闭当前流并打开一个新流。

我没有意识到TargetDataLine实际上只保存了一个声音数据缓冲区,只要调用read方法就可以从中获取。

看起来当我从Eclipse运行应用程序时,它使用的是不同类型的TargetDataLine,而不是我将其作为可运行的jar文件运行时。这可以通过缓冲区之间的大小差异来证明。虽然大小差异只有2倍左右,但我认为问题不在于缓冲区的大小,而在于其他与提取的TargetDataLine有关的问题。

奇怪的是,删除Globals.mySleep(waitTime)修复了SSCCE,但不是它应该代表的真实程序。

我尝试排空和冲洗Line,而不是替换它,但这些似乎都不起作用,尽管我可能错误地使用它们。

所以问题是:DataLine的缓冲区正在填满,而程序没有播放时,缓冲区没有被清空,所以当它开始播放时,它继续以通常的播放速率从缓冲区中获取数据,导致它落后。

解决方案是:当程序开始播放时,替换DataLine。

- 编辑 -

进一步的观察表明,当我从Eclipse运行时,它似乎使用了与我作为jar文件运行时不同的JRE。我将默认的java程序设置为java-6-sun而不是java-6-openjdk,它可以从jar文件中正常工作。

另外,我尝试在另一台计算机上运行替换DataLine的方法。在这台电脑上,我在信号中得到了一个令人讨厌的突破。拉动一个新的DataLine似乎需要更长的时间,所以我认为这不会起作用。现在,我只是随时从DataLine中读取。如果系统暂停,我就不会在任何地方发送信号。

答案 1 :(得分:1)

我发现在这样的情况下最好的事情,你的代码很慢,但你不知道为什么要使用分析器,http://www.quest.com/jprobe/software_download.aspx你可以得到这个java分析器的免费踪迹,它会告诉你你一行一行地花了多少时间和执行了多少次,你应该能够准确地找出使你的代码变慢的原因。

希望这有帮助, 埃蒙

答案 2 :(得分:1)

  

Globals.mySleep(WAITTIME); //告诉线程在给定数据格式的适当时间内休眠

怀疑'正确'waitTime此处为'0'。

如果您想要的不仅仅是怀疑,我建议您发布SSCCE(不包含行号)。