当* exact *是一个准备好写的套接字?

时间:2014-05-08 16:36:28

标签: linux sockets tcp epoll

当应用程序有大量数据(400M)写入非阻塞套接字时,write()会在发送缓冲区已满时返回EWOULDBLOCKEAGAIN

当(e)轮询套接字时,我有时会在发送缓冲区中有7M空间时看到写入就绪通知,有时是20M,有时是1M。写就绪回调之间的延迟变化很大:从几毫秒到几十秒!

所以我的问题是内核何时触发了套接字的写就绪?是什么影响了写入就绪的触发?显然,只要将1B写入电线,就不会触发它。

任何帮助将不胜感激!

我正在使用:

Ubuntu 12.04 LTS

内核3.8.0-39-generic

Arch:x86_64

编辑:此上下文中的套接字是TCP / IP套接字。

1 个答案:

答案 0 :(得分:-1)

  

所以我的问题是内核何时确切触发套接字的写就绪?

tl; dr;只要您的套接字有足够的缓冲区空间,写操作就会成功,并且epoll_wait将在默认的电平触发模式下返回表示该事件的信息。如果套接字空间不足,则编写器将进入睡眠状态。确认数据释放空间时,内核将唤醒进程(或传递epoll事件以说套接字是可写的),但仅当套接字空间不足时才能这样做。就像以前一样,只要套接字可写,什么也不会改变,即使没有来自TCP的新通知,也会触发级别触发的事件。

执行实际通知的功能是sk_write_space。 这是struct sock的成员,对于TCP,相关的实现是stream.c中的sk_stream_write_space

    ...
    if (skwq_has_sleeper(wq))
        wake_up_interruptible_poll(&wq->wait, EPOLLOUT |
                    EPOLLWRNORM | EPOLLWRBAND);
    if (wq && wq->fasync_list && !(sk->sk_shutdown & SEND_SHUTDOWN))
        sock_wake_async(wq, SOCK_WAKE_SPACE, POLL_OUT);
    ...

此功能将唤醒可能正在等待内存的所有调用者。 (将此与sock_def_write_space进行比较。

但是什么时候调用sk_write_space?有几个呼叫站点,但最突出的是tcp_new_space,它由tcp_check_space呼叫,而tcp_data_snd_check则由接收路径上的许多地方呼叫。函数has a descriptive comment

 When incoming ACK allowed to free some skb from write_queue,
 we remember this event in flag SOCK_QUEUE_SHRUNK and wake up socket
 on the exit from tcp input handler.

tcp_check_space很有趣:

    if (sock_flag(sk, SOCK_QUEUE_SHRUNK)) {
        sock_reset_flag(sk, SOCK_QUEUE_SHRUNK);
        /* pairs with tcp_poll() */
        smp_mb();
        if (sk->sk_socket &&
            test_bit(SOCK_NOSPACE, &sk->sk_socket->flags)) {
            tcp_new_space(sk);
            ...
        }

一些相关的地方:

  1. SOCK_QUEUE_SHRUNK定义为“写队列最近已缩小”,并在传输路径上设置。 tcp_check_space检查并清除它。
  2. SOCK_NOSPACE在传输路径上设置当我们的缓冲区空间用完时。

从所有这些得出的结论是,tcp_check_space避免发送事件,除非套接字空间不足

tcp_data_snd_check呢?在稳定状态下,最相关的呼叫在tcp_rcv_established中:

  1. 快速路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5575

  2. 几乎快速的路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5618

  3. 慢路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5658

所有这些信号数据均已成功ACKd。


TCP中还有sk_write_space的其他调用方。 do_tcp_sendpagestcp_sendmsg_locked在错误路径上调用它,以确保调用者被唤醒。设置do_tcp_setsockoptTCP_NOTSENT_LOWAT调用它。