CPU在Cent OS 6.3上的高使用率

时间:2013-05-24 02:36:36

标签: c++ linux multithreading kernel

我在cent os 5.3和cent os 6.3编译下面的代码:

#include <pthread.h>
#include <list>
#include <unistd.h>
#include <iostream>
using namespace std;
pthread_mutex_t _mutex;
pthread_spinlock_t spinlock;

list<int *> _task_list;

void * run(void*);
int main()
{
    int worker_num  = 3;
        pthread_t pids[worker_num];
        pthread_mutex_init(&_mutex, NULL);
        for (int worker_i = 0; worker_i < worker_num; ++worker_i)
        {
                pthread_create(&(pids[worker_i]), NULL, run, NULL);
        }
    sleep(14);
}


void *run(void * args)
{
        int *recved_info;
    long long start;
        while (true)
        {
            pthread_mutex_lock(&_mutex);
                if (_task_list.empty())
                {
                        recved_info = 0;
                }
                else
                {
                        recved_info = _task_list.front();
                        _task_list.pop_front();
                }
            pthread_mutex_unlock(&_mutex);

                if (recved_info == 0)
                {
                        int f = usleep(1);
            continue;
        }
    }
}

在5.3上运行时,你甚至无法找到最重要的进程,cpu使用率约为0%。但是在6.3的操作系统上,在4核cpu上有6个线程,大概有20%。

所以我用时间 stace 检查a.out,结果是这样的:

在5.3:

real    0m14.003s
user    0m0.001s
sys     0m0.001s

在6.3:

real    0m14.002s
user    0m1.484s
sys  0m1.160s

strace:

on 5.3:

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 91.71    0.002997           0     14965           nanosleep
  8.29    0.000271         271         1           execve
  0.00    0.000000           0         5           read
  0.00    0.000000           0        10         4 open
  0.00    0.000000           0         6           close
  0.00    0.000000           0         4         4 stat
  0.00    0.000000           0         6           fstat
  0.00    0.000000           0        22           mmap
  0.00    0.000000           0        13           mprotect
  0.00    0.000000           0         1           munmap
  0.00    0.000000           0         3           brk
  0.00    0.000000           0         3           rt_sigaction
  0.00    0.000000           0         3           rt_sigprocmask
  0.00    0.000000           0         1         1 access
  0.00    0.000000           0         3           clone
  0.00    0.000000           0         1           uname
  0.00    0.000000           0         1           getrlimit
  0.00    0.000000           0         1           arch_prctl
  0.00    0.000000           0        38         4 futex
  0.00    0.000000           0         1           set_tid_address
  0.00    0.000000           0         4           set_robust_list
------ ----------- ----------- --------- --------- ----------------
100.00    0.003268                 15092        13 total

on 6.3:

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 99.99    1.372813          36     38219           nanosleep
  0.01    0.000104           0       409        43 futex
  0.00    0.000000           0         5           read
  0.00    0.000000           0         6           open
  0.00    0.000000           0         6           close
  0.00    0.000000           0         6           fstat
  0.00    0.000000           0        22           mmap
  0.00    0.000000           0        15           mprotect
  0.00    0.000000           0         1           munmap
  0.00    0.000000           0         3           brk
  0.00    0.000000           0         3           rt_sigaction
  0.00    0.000000           0         3           rt_sigprocmask
  0.00    0.000000           0         7         7 access
  0.00    0.000000           0         3           clone
  0.00    0.000000           0         1           execve
  0.00    0.000000           0         1           getrlimit
  0.00    0.000000           0         1           arch_prctl
  0.00    0.000000           0         1           set_tid_address
  0.00    0.000000           0         4           set_robust_list
------ ----------- ----------- --------- --------- ----------------
100.00    1.372917                 38716        50 total

时间和strace结果不是相同的测试,因此数据有点不同。但我认为它可以显示出一些东西。

我检查内核配置CONFIG_HIGH_RES_TIMERS,CONFIG_HPET和CONFIG_HZ:

在5.3:

$ cat /boot/config-`uname -r` |grep CONFIG_HIGH_RES_TIMERS
$ cat /boot/config-`uname -r` |grep CONFIG_HPET
CONFIG_HPET_TIMER=y
CONFIG_HPET_EMULATE_RTC=y
CONFIG_HPET=y
# CONFIG_HPET_RTC_IRQ is not set
# CONFIG_HPET_MMAP is not set
$ cat /boot/config-`uname -r` |grep CONFIG_HZ
# CONFIG_HZ_100 is not set
# CONFIG_HZ_250 is not set
CONFIG_HZ_1000=y
CONFIG_HZ=1000

在6.3:

$ cat /boot/config-`uname -r` |grep CONFIG_HIGH_RES_TIMERS
CONFIG_HIGH_RES_TIMERS=y
$ cat /boot/config-`uname -r` |grep CONFIG_HPET
CONFIG_HPET_TIMER=y
CONFIG_HPET_EMULATE_RTC=y
CONFIG_HPET=y
CONFIG_HPET_MMAP=y
$ cat /boot/config-`uname -r` |grep CONFIG_HZ
# CONFIG_HZ_100 is not set
# CONFIG_HZ_250 is not set
# CONFIG_HZ_300 is not set
CONFIG_HZ_1000=y
CONFIG_HZ=1000

事实上,我也尝试使用ARM和xubuntu13.04-amd64-desktop上的arch代码,与cent os 6.3相同。

那么我该怎么做才能找出不同CPU使用率的原因?

内核配置是否有任何内容?

1 个答案:

答案 0 :(得分:5)

你是对的,它与内核配置有关。 usleep(1)将尝试睡眠一微秒。在高分辨率计时器之前,不可能以小于1的速度睡眠(在你的情况下HZ = 1000,因此1 jiffy == 1毫秒)。

在没有这些高分辨率计时器的CentOS 5.3上,你会睡1到2毫秒[1]。在拥有这些计时器的CentOS 6.3上,你正在睡觉接近1微秒。这就是你在这个平台上使用更多cpu的原因:你只需要将你的任务列表轮询500-1000倍。

如果您将代码更改为usleep(1000),CentOS 5.3的行为将相同。 CentOS 6.3的cpu时间将减少,并与CentOS 5.3上运行的程序处于同一个范围内

Linux手册中对此进行了全面讨论:运行man 7 time

请注意,您的代码应使用条件变量,而不是以特定时间间隔轮询任务列表。这是一种更有效,更干净的方式来做你正在做的事情。

另外,你的主要应该加入线程而不是只是睡了14秒。

[1]有一个例外。如果您的应用程序在实时调度策略(SCHED_FIFO或SCHED_RR)下运行,它将忙于等待而不是睡眠以接近正确数量的睡眠。但默认情况下,您需要root权限