从CF上的多个TCP连接继续读取

时间:2017-06-08 15:15:29

标签: c# multithreading tcp server

我有一个简单的TCP服务器,它能够侦听并接受端口上的多个连接。然后它不断等待数据从其连接中读取。为方便起见,它使用一个名为ConnectedClient的TcpClient的包装类,以及一个用于跟踪所有连接的ConnectedClients列表(字典)。它基本上是这样的:

/* this method waits to accept connections indefinitely until it receives 
   the signal from the GUI thread to stop. When a connection is accepted, it 
   adds the connection to the list and calls a method called ProcessClient, 
   which returns almost immediately.*/
public void waitForConnections() {
        // this method has access to a TcpListener called listener that was started elsewhere
        try {
            while (!_abort) {
                TcpClient socketClient = listener.AcceptTcpClient();

                //Connected client constructor takes the TcpClient as well as a callback that it uses to print status messages to the GUI if   
                ConnectedClient client = new ConnectedClient(socketClient, onClientUpdate);
                clients.Add(client.id, client);
                ProcessClient(client);
            }
        }
        catch (Exception e) {
            onStatusUpdate("Exception Occurred: " + e.Message);
        }
    }

    /* This method doesn't do much other than call BeginRead on the connection */
    private void ProcessClient(ConnectedClient client) {
        try {
            // wrapper class contains an internal buffer for extracting data as well as a TcpClient
            NetworkStream stream = client.tcpClient.GetStream();
            stream.BeginRead(client.buffer, 0, client.tcpClient.ReceiveBufferSize, new AsyncCallback(StreamReadCompleteCallback), client);
        }
        catch (Exception ex) {
            onStatusUpdate(ex.Message);
        }
    }

在我的回调函数StreamReadCompleteCallback中,我调用EndRead,检查EndRead的返回值以检测连接是否已关闭。如果返回值大于零,我提取/处理读取数据并在同一客户端上再次调用BeginRead。如果返回值为零,则连接已关闭,我删除了连接(从列表中删除,关闭TcpClient等)。

    private void StreamReadCompleteCallback(IAsyncResult ar) {
        ConnectedClient client = (ConnectedClient)ar.AsyncState;

        try {
            NetworkStream stream = client.tcpClient.GetStream();

            int read = stream.EndRead(ar);
            if (read != 0) {
                // data extraction/light processing of received data
                client.Append(read);
                stream.BeginRead(client.buffer, 0, client.tcpClient.ReceiveBufferSize, new AsyncCallback(StreamReadCompleteCallback), client);
            }
            else {
                DisconnectClient(client);
            }
        }
        catch (Exception ex) {
            onStatusUpdate(ex.Message);
        }
    }

所有这一切都很好,我可以接受连接并从多个客户端设备读取等。

我的问题是:这种连续读取连接客户端的方法会导致每个连接都有一个等待BeginRead返回的工作线程。

所以,如果我有10个连接,我有10个BeginReads。

让这么多工作人员坐在那里等待阅读似乎很浪费。有没有其他更好的方法来实现这一目标?如果我有大量活动连接,我最终会耗尽内存来添加连接。

是否有一个线程轮询每个连接的DataAvailable属性,直到出现某些东西,然后使一个线程读取/处理成为一个解决方案?

或者创建所有这些工作线程并不像我想的那么大?

1 个答案:

答案 0 :(得分:1)

  

这种连续读取连接客户端的方法会导致每个连接都有一个等待BeginRead返回的工作线程

不,它没有。实际上,使用BeginRead()或其他异步替代方法来处理Socket对象上的I / O是最易于使用的方法。

  

是否有一个线程轮询每个连接的DataAvailable属性,直到出现某些东西,然后使一个线程读取/处理成为一个解决方案?

没有。这太可怕了。通过DataAvailableSelect()轮询套接字是非常低效的,只需要检查套接字状态就可以投入大量的CPU时间。操作系统为处理这个提供了良好的异步机制;轮询实现忽略了这一点并完成了所有工作。

  

或者创建所有这些工作线程并不像我想的那么大?

您不能创建您认为自己的主题。当您使用异步API时,它们会使用名为 I / O完成端口的窗口中的功能。 I / O完成端口与I / O操作相关联,并且线程可以在端口上等待。但是一个线程可以处理大量操作的等待,因此有十个未完成的读操作实际上不会导致创建十个不同的线程。

.NET管理一个线程池来处理这些操作,作为ThreadPool类的一部分进行管理。您可以监视该类以查看IOCP池的行为(与用于QueueUserWorkItem()的工作线程池不同)。

.NET将根据需要分配新的IOCP对象和线程,以便为您的网络I / O操作提供服务。你可以放心,它会以合理,有效的方式这样做。

在非常大的规模上,与读取操作相关联的对象的垃圾收集的开销可能起作用。在这种情况下,您可以使用ReceiveAsync()方法,该方法允许您为操作重用自己的状态对象池,这样您就不会不断创建和丢弃对象。

可能出现的另一个问题是内存碎片,特别是在大对象堆中(取决于您使用的缓冲区的大小)。当您在套接字上启动读取操作时,必须固定缓冲区,以防止.NET压缩它所在的堆。

但是这些问题并不是避免使用异步API的理由(事实上,无论如何都会出现第二个问题)。他们只是要注意的事情。事实上,使用异步API是最好的方法。

那就是说,BeginReceive()是#34;旧学校"。它可以工作,但您可以在BeginReceive()中包含Task操作(请参阅Task.FromAsync()和TPL和Traditional .NET Framework Asynchronous Programming),或者您可以将整个Socket打包一个NetworkStream对象(具有ReadAsync()和类似的方法),它允许您以更易读的方式编写异步代码,不需要使用显式回调方法。对于网络I / O总是在与UI的某些交互中达到高潮的情况,允许您使用async / await这样做,再次以更易读,更易于编写的方式。