使用Xna Framework播放语音

时间:2013-06-30 21:14:46

标签: c# wpf multithreading xna kinect

我正在从kinect设备获取音频并将这些字节数组发送到客户端,客户端使用xna DynamicSoundEffectInstance类接收这些字节和播放,但我面临的问题是客户端收到一些字节并且程序自动终止而没有任何异常 服务器代码

KinectSensor kinectsenser;
    Thread obj;
    TcpClient client;
    TcpListener server;
    NetworkStream ns;
    Stream kinectaudio;
    soundcontainer.SoundData sound =null;
    Thread obj1 = null;
    Object objt = new Object();
    public MainWindow()
    {
        InitializeComponent();
        server = new TcpListener(IPAddress.Parse("127.0.0.1"), 45000);
        server.Start();
        client = server.AcceptTcpClient();
        ns = client.GetStream();
        sound = new SoundData();
        obj1 = new Thread(send);


    }
    void audio()
    {
        byte[] soundSampleBuffer = new byte[1000];
        kinectaudio = kinectsenser.AudioSource.Start();

        obj1.Start();
        while (true)
        {
            lock (objt)
            {
                int count = kinectaudio.Read(soundSampleBuffer, 0, soundSampleBuffer.Length);
                sound.data = soundSampleBuffer;
            }
        }
    }

    private void Window_Loaded_1(object sender, RoutedEventArgs e)
    {
        if (KinectSensor.KinectSensors.Count == 0)
        {
            MessageBox.Show("no Kinect Device is attched");
            Application.Current.Shutdown();
        }
        kinectsenser = KinectSensor.KinectSensors[0];
        kinectsenser.Start();
        audio();
    }
    void send()
    {
        while (true)
        {
            lock (objt)
            {
                soundcontainer.SoundData i = new SoundData();
                i.data = sound.data;
                if (i.data != null)
                {
                    if (ns.CanWrite)
                    {
                        ns.Write(i.data, 0, i.data.Length);
                        ns.Flush();
                    }
                }
            }
        }

    }

客户代码如下:

 public partial class MainWindow : Window
{
    TcpClient client;
    NetworkStream ns;
    Thread iiui;
    public MainWindow()
    {
        InitializeComponent();
        client = new TcpClient();
        IPAddress ip=IPAddress.Parse("127.0.0.1");
        client.Connect(ip, 45000);
        ns = client.GetStream();
        iiui = new Thread(start);
        iiui.Start();
    }
    void start()
    {
        DynamicSoundEffectInstance sound = new DynamicSoundEffectInstance(16000, AudioChannels.Mono);
        Microsoft.Xna.Framework.FrameworkDispatcher.Update();
        sound.Play();

        IFormatter formater = new BinaryFormatter();
        while (true)
        {
            byte[] temp = new byte[65536];
            ns.Read(temp, 0, temp.Length);
            sound.SubmitBuffer(temp, 0, temp.Length);
        }
    }
}

2 个答案:

答案 0 :(得分:0)

这可能有用也可能没用,但您认为您的网络是问题吗?您的防火墙是否解锁了45,000端口?

除此之外,您应该考虑使用端口范围:49152-65535,因为它们用于未在IANA注册的私有和动态端口。

编辑: 此外,您使用的IP地址是您的环回地址。这是故意的吗?否则,交通几乎无处可去。

答案 1 :(得分:0)

作为一个注释,我也遇到了这个问题,问题是你用缓冲区溢出了DynamicSoundEffectInstance。当你调用SubmitBuffer()时,你将字节缓冲区添加到它的内部缓冲区的末尾,当它崩溃时,这是因为缓冲区溢出了。 试试这个:

while (sound.PendingBufferCount > 3) { Thread.Sleep(1); }
sound.SubmitBuffer(temp, 0, temp.Length);

这可以解决您遇到的任何问题。 这样做是等待DynamicSoundEffectInstance在其内部缓冲区中只有3个缓冲区以防止溢出。将缓冲区缩小以防止滞后(如果你关心它)也是一个好主意。