Question

我正在开发一个项目，我想添加按键通话功能我有android作为客户端，java作为我的服务器。我所做的是从bytes发送AudioRecord到我的服务器并将其广播回连接的客户端。

当混合来自同时发送的不同客户端的data时，我的问题是什么。

这是我在服务器上尝试的内容：

static boolean status = true;
static int port = 1938;
static byte[] mixed_audio;
static byte[][] all_bytes;
static int client_count = 0;
static DatagramSocket socket;
static ArrayList<InetAddress> addresses;
public static void main(String args[]) throws Exception {

    DatagramSocket serverSocket = new DatagramSocket(port);    
    System.out.println("Listening. . .");    
    addresses = new ArrayList<>();

    for(int x = 0; x < args.length; x++){
        if(args[x].equals("-p")){
            port = Integer.parseInt(args[x+1]);
        }
    }

    byte[] receiveData = new byte[1400];

    DatagramPacket receivePacket = new DatagramPacket(receiveData,
            receiveData.length);

    socket = new DatagramSocket();

    while (status == true) {
        all_bytes = new byte[1400][1400];
        mixed_audio = new byte[1400];
        serverSocket.receive(receivePacket);        
        int a = addresses.indexOf(receivePacket.getAddress());
        if(a < 0 ){
            addresses.add(receivePacket.getAddress());            
        }
        client_count++;        
        all_bytes[client_count] = receivePacket.getData();
       new Thread(new ReceiveData(receivePacket.getData(), receivePacket.getAddress())).start();

    }
}

public static class ReceiveData implements Runnable{

    byte[] data;
    InetAddress address;

    public ReceiveData(byte[]  b, InetAddress address){
        this.data = b;
        this.address = address;
    }

    @Override
    public void run() {

        try {
            for(int i = 0; i < 1400; i++){
                for(int j = 0; j < 1400; j++){
                    mixed_audio[j] += all_bytes[i][j];
                }
            } 

            if(client_count > 1){
                int c=0;
                for(int x = 0; x < 1400; x++){
                    mixed_audio[x]  = (byte) (mixed_audio[x] / client_count + 1);
                }
            }else{
                mixed_audio = data;
            }
            client_count--;

            for(InetAddress add: addresses){

                if(add != address){
                    DatagramPacket packet;
                    packet = new DatagramPacket(mixed_audio, mixed_audio.length, add, port);
                    socket.send(packet);

                }

            }


        } catch (IOException ex) {
            //Logger.getLogger(TeraMix.class.getName()).log(Level.SEVERE, null, ex);
        }

    }

}

当只有一个客户端正在通话时的音频输出是清晰的，但当多个客户端同时开始通话时的音频输出变得非常不清楚。

我还尝试使用我的PC上的文件来混合音频的算法，它运行良好。我需要的是混合由不同客户同时发送的data packets。

我是否需要在不同的线程上处理客户端？我做错了吗？这有更好的方法吗？请指导我这个。谢谢！

Answer 1

我不知道你是否能够调试数据包在那里合并的方式，但是从读取开始我会说问题是每个收到的数据包产生它自己的线程，然后发送当前合并的线程分组。

E.g。如果它是三个客户端A，B和C，发送数据包1和2，合并将是：

A1 in - ＆gt; A1出
B1 in - ＆gt; B1，或者A1 + B1 out
C1 in - ＆gt; C1，或B1 + C1或甚至A1 + B1 + C1 out
A2 in - ＆gt; A2或C1 + A2或......
B2 in - ＆gt; B2或A2 + B2或......
C2 in - ＆gt; C2或B2 + C2或......

在这个简化的情况下，它会发出六个数据包而不是理想的两个 - A1 + B1 + C1和A2 + B2 + B2？

显然，这需要一点点关注才能使合并顺利进行，特别是因为我确信数据包不会完全同步到达 - 毕竟这是UDP。

假设可以合作“合并你拥有的数据包”，那么当你现在拥有所有当前客户端的数据包或者第二个数据包到达其中一个客户端时，它可能只会触发发送线程。，或者可能在采样率超时后。

我想这会冒成接收和发送线程之间的all_bytes争用的风险。一旦有足够的数据包进入，可以更好地将当前all_bytes传递给ReceiveData可运行，但随后启动一个新数据包以读取更多数据包。或者至少在内存/ GC开销可能成为问题时循环数组。

如何混合来自DatagramPackets的多个实时语音音频流？

1 个答案: