当应用程序有大量数据(400M)写入非阻塞套接字时,write()
会在发送缓冲区已满时返回EWOULDBLOCK
或EAGAIN
。
当(e)轮询套接字时,我有时会在发送缓冲区中有7M空间时看到写入就绪通知,有时是20M,有时是1M。写就绪回调之间的延迟变化很大:从几毫秒到几十秒!
所以我的问题是内核何时触发了套接字的写就绪?是什么影响了写入就绪的触发?显然,只要将1B写入电线,就不会触发它。
任何帮助将不胜感激!
我正在使用:
Ubuntu 12.04 LTS
内核3.8.0-39-generic
Arch:x86_64
编辑:此上下文中的套接字是TCP / IP套接字。
答案 0 :(得分:-1)
所以我的问题是内核何时确切触发套接字的写就绪?
tl; dr;只要您的套接字有足够的缓冲区空间,写操作就会成功,并且epoll_wait
将在默认的电平触发模式下返回表示该事件的信息。如果套接字空间不足,则编写器将进入睡眠状态。确认数据释放空间时,内核将唤醒进程(或传递epoll事件以说套接字是可写的),但仅当套接字空间不足时才能这样做。就像以前一样,只要套接字可写,什么也不会改变,即使没有来自TCP的新通知,也会触发级别触发的事件。
执行实际通知的功能是sk_write_space
。
这是struct sock
的成员,对于TCP,相关的实现是stream.c
中的sk_stream_write_space
。
...
if (skwq_has_sleeper(wq))
wake_up_interruptible_poll(&wq->wait, EPOLLOUT |
EPOLLWRNORM | EPOLLWRBAND);
if (wq && wq->fasync_list && !(sk->sk_shutdown & SEND_SHUTDOWN))
sock_wake_async(wq, SOCK_WAKE_SPACE, POLL_OUT);
...
此功能将唤醒可能正在等待内存的所有调用者。
(将此与sock_def_write_space
进行比较。
但是什么时候调用sk_write_space
?有几个呼叫站点,但最突出的是tcp_new_space
,它由tcp_check_space
呼叫,而tcp_data_snd_check
则由接收路径上的许多地方呼叫。函数has a descriptive comment:
When incoming ACK allowed to free some skb from write_queue, we remember this event in flag SOCK_QUEUE_SHRUNK and wake up socket on the exit from tcp input handler.
tcp_check_space
很有趣:
if (sock_flag(sk, SOCK_QUEUE_SHRUNK)) {
sock_reset_flag(sk, SOCK_QUEUE_SHRUNK);
/* pairs with tcp_poll() */
smp_mb();
if (sk->sk_socket &&
test_bit(SOCK_NOSPACE, &sk->sk_socket->flags)) {
tcp_new_space(sk);
...
}
一些相关的地方:
SOCK_QUEUE_SHRUNK
定义为“写队列最近已缩小”,并在传输路径上设置。 tcp_check_space
检查并清除它。SOCK_NOSPACE
在传输路径上设置当我们的缓冲区空间用完时。从所有这些得出的结论是,tcp_check_space
避免发送事件,除非套接字空间不足。
tcp_data_snd_check
呢?在稳定状态下,最相关的呼叫在tcp_rcv_established
中:
快速路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5575
几乎快速的路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5618
慢路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5658
所有这些信号数据均已成功ACKd。
TCP中还有sk_write_space
的其他调用方。 do_tcp_sendpages
和tcp_sendmsg_locked
在错误路径上调用它,以确保调用者被唤醒。设置do_tcp_setsockopt
时TCP_NOTSENT_LOWAT
调用它。