Question

我正在实现一个服务器，将套接字描述符传递给工作进程进行处理。它使用sendmsg系统调用通过UNIX套接字发送它们。服务器本身可以侦听UNIX套接字或INET套接字。我把它放在nginx后面有问题。当我的服务器在INET套接字上运行时，一切正常。但是代理不能通过UNIX套接字工作。 nginx报道：

readv() failed (104: Connection reset by peer) while reading upstream

一个简单的Python脚本可以毫无问题地接收数据：

import sys
import socket
sock = socket.socket(socket.AF_UNIX)
sock.connect(sys.argv[1])
while 1:
    data = sock.recv(1024)
    if not data: break
    print data

这是一个最小的例子。请注意，取消注释两条注释行可以解决问题。

#include <time.h>
#include <sys/socket.h>
#include <sys/un.h>

const char response[] =
    "HTTP/1.0 200 OK\r\n"
    "Content-Type: text/plain\r\n"
    "Content-Length: 4\r\n"
    "\r\n"
    "test";

int main(int argc, char** argv)
{
    struct msghdr msg;
    msg.msg_name = 0;
    msg.msg_namelen = 0;
    struct iovec iov;
    char c;
    iov.iov_base = &c;
    iov.iov_len = 1;
    msg.msg_iov = &iov;
    msg.msg_iovlen = 1;
    char control[CMSG_SPACE(sizeof(int))];
    msg.msg_control = control;
    msg.msg_controllen = sizeof(control);
    struct cmsghdr* cmsg_ptr = CMSG_FIRSTHDR(&msg);
    int pair[2];
    socketpair(AF_UNIX, SOCK_STREAM, 0, pair);
    if (fork()) {
        close(pair[1]);
        cmsg_ptr->cmsg_level = SOL_SOCKET;
        cmsg_ptr->cmsg_type = SCM_RIGHTS;
        cmsg_ptr->cmsg_len = CMSG_LEN(sizeof(int));
        int listen_fd = socket(AF_UNIX, SOCK_STREAM, 0);
        unlink(argv[1]);
        struct sockaddr_un address;
        address.sun_family = AF_UNIX;
        strncpy(address.sun_path, argv[1], sizeof(address.sun_path) - 1);
        bind(listen_fd, (struct sockaddr*)(&address), SUN_LEN(&address));
        chmod(argv[1], 0666);
        listen(listen_fd, SOMAXCONN);
        for (;;) {
            int conn_fd = accept(listen_fd, 0, 0);
            *(int*)(CMSG_DATA(cmsg_ptr)) = conn_fd;
            sendmsg(pair[0], &msg, 0);
/*             sleep(1); */
            close(conn_fd);
        }
    } else {
        close(pair[0]);
        for (;;) {
            recvmsg(pair[1], &msg, 0);
            int conn_fd = *(int*)(CMSG_DATA(cmsg_ptr));
            write(conn_fd, response, sizeof(response));
/*             shutdown(conn_fd, SHUT_WR); */
            close(conn_fd);
        }
    }
    return 0;
}

我在linux上使用nginx / 0.7.62。我应该深入研究nginx还是误解描述符传递？

Answer 1

sleep()不是必需的 - shutdown()是正确的。修复是你的子进程不应该关闭conn_fd，直到它看到来自nginx的文件结束：

write(conn_fd, response, ...);

/* Tell client no more data is forthcoming */
shutdown(conn_fd, SHUT_WR); 

/* Read until client also closes */
while (read(conn_fd, buffer, sizeof buffer) > 0)
{
    /* ... */
}

/* Now we can close */
close(conn_fd);

“通过对等方重置连接”是告知nginx你的应用程序在看到nginx发送的所有内容之前关闭套接字的操作系统 - 这里的“所有内容”包括流的逻辑结尾，而不仅仅是数据字节。

Nginx代理模块和套接字描述符传递

1 个答案: