环回tcp连接加速

时间:2014-08-27 10:28:33

标签: c tcp onload loopback

我正在尝试使用以下代码使用tcp环回连接向第三方应用程序(在同一服务器上运行)发送一些字节。

struct sockaddr_in serv_addr;
struct hostent *server;
int sockfd = socket(PF_INET, SOCK_STREAM, 0);
server = gethostbyname(host_address);

bzero((char *) &serv_addr, sizeof (serv_addr));
serv_addr.sin_family = AF_INET;

bcopy((char *) server->h_addr, (char *) &serv_addr.sin_addr.s_addr, server->h_length);

/**** Port No. Set   ****/
serv_addr.sin_port = htons(portno);
int sockKeepAliveOption = 1;
int al = setsockopt(sockfd, SOL_SOCKET, SO_KEEPALIVE, (void*) &sockKeepAliveOption, sizeof (sockKeepAliveOption));
if (al == -1) {
    std::cout << "Setsocket option err: SO_KEEPALIVE --unable to set keep alive tcp connection." << std::endl;
} 
else {
    std::cout << "S0_KEEPALIVE set, with SOL_SOCKET.. . ..\n" << std::endl;
}

我一次发送400个字节,并在一秒钟内发送100次。我正在使用以下代码发送

int n = send(sockfd,sendB,400, ONLOAD_MSG_WARM); 

我的问题是,我的抖动很高。我获得最小延迟3 us,平均7 us和最大19 us。我该如何优化它?

谢谢

2014年8月28日编辑。

让我补充一些信息。我也在不同的线程中从同一端口接收数据但是在我发送之后。我还通过以下代码为每个线程分配一个核心,除了核心0之外的所有cpu都与调度程序隔离。

        thread1= new std::thread(myfunction, input1, input2);
        pthread_t thread_hnd = thread1->native_handle();
        CPU_SET(5, &cpuset);
        s = pthread_setaffinity_np(thread_hnd, sizeof (cpu_set_t), &cpuset);

当我每隔1毫秒连续发送一次但是如果频率较低(比如每秒1-5次)那么我得到的数字很好(3或4 us),那么有时候我会得到大约20 us但平均值大约为7我们。

可以在不同线程的同一端口上侦听和发送是否会产生抖动?

2014年8月28日编辑2ND。

这是我的cpu状态。它不会去C3。 Core 2 [7]是我通过循环发送数据的线程。

 Cpu speed from cpuinfo 3499.00Mhz
 True Frequency (without accounting Turbo) 3499 MHz

 Socket [0] - [physical cores=6, logical cores=6, max online cores ever=6]
 CPU Multiplier 35x || Bus clock frequency (BCLK) 99.97 MHz
 TURBO ENABLED on 6 Cores, Hyper Threading OFF
 Max Frequency without considering Turbo 3598.97 MHz (99.97 x [36])
 Max TURBO Multiplier (if Enabled) with 1/2/3/4/5/6 cores is  38x/37x/36x/36x/36x/36x
 Real Current Frequency 3600.17 MHz (Max of below)
    Core [core-id]  :Actual Freq (Mult.)      C0%   Halt(C1)%  C3 %   C6 %  Temp
    Core 1 [0]:       3600.17 (36.01x)      1.08    98.9       0       0    41
    Core 2 [1]:       3595.44 (35.96x)      1.07    98.9       0       0    46
    Core 3 [2]:       3595.28 (35.96x)         1    99.1       0       0    40
    Core 4 [3]:       3599.01 (36.00x)         1    99.9       0       0    46
    Core 5 [4]:       3599.51 (36.01x)         0     100       0       0    50
    Core 6 [5]:       3598.97 (36.00x)       100       0       0       0    56

  Socket [1] - [physical cores=6, logical cores=6, max online cores ever=6]
  CPU Multiplier 35x || Bus clock frequency (BCLK) 99.97 MHz
  TURBO ENABLED on 6 Cores, Hyper Threading OFF
  Max Frequency without considering Turbo 3598.97 MHz (99.97 x [36])
  Max TURBO Multiplier (if Enabled) with 1/2/3/4/5/6 cores is  38x/37x/36x/36x/36x/36x
  Real Current Frequency 3600.12 MHz (Max of below)
    Core [core-id]  :Actual Freq (Mult.)      C0%   Halt(C1)%  C3 %   C6 %  Temp
    Core 1 [6]:       3598.97 (36.00x)       100       0       0       0    56
    Core 2 [7]:       3598.51 (36.00x)      1.12    98.8       0       0    49
    Core 3 [8]:       3599.98 (36.01x)      1.94      98       0       0    45
    Core 4 [9]:       3598.97 (36.00x)       100       0       0       0    56
    Core 5 [10]:      3599.48 (36.01x)         1    99.9       0       0    48
    Core 6 [11]:      3600.12 (36.01x)      3.44    96.5       0       0    45

 C0 = Processor running without halting
 C1 = Processor running with halts (States >C0 are power saver)
 C3 = Cores running with PLL turned off and core cache turned off
 C6 = Everything in C3 + core state saved to last level cache
 Above values in table are in percentage over the last 1 sec
 [core-id] refers to core-id number in /proc/cpuinfo

2 个答案:

答案 0 :(得分:2)

首先,有一些技术可能会加快速度,但这并不一定能解决抖动问题。大多数速度优化还依赖于异步套接字处理,并且在接收数据时主要是帮助,而不是在发送数据时。

可能帮助设置TCP_NODELAY选项。这样可以通过禁用Nagle algorithm来确保数据包尽快发送出去。本质上,Nagle算法尝试在单个数据包中附加多个TCP缓冲区,以便以延迟/抖动为代价最大化吞吐量。

另外,请记住,这种低分辨率的时序最多也很棘手。仔细检查您的计时器分辨率(clock_getres),并记住任何系统中断和进程调度都会影响计时。您的实际抖动可能比您的时间更好。

答案 1 :(得分:1)

您可以在网络线程上尝试sched_setaffinity(2)吗?如果您的代码是单线程的,那么使用它的包装器taskset(1)会更容易。

此外,最好使用isolcpus参数启动Linux,以便其他不相关的进程不会打扰您的实验。

C状态更新

你的CPU是否可能睡得太深(&gt; = C3)?

此工具可能有助于监控C状态:

您可能需要调整intel_idle.max_cstate内核参数或类似内容,具体取决于您的CPU和内核版本。