争用futex时的高系统CPU使用率

时间:2012-11-08 16:37:30

标签: linux spinlock futex

我观察到当linux futexes争用时,系统会花费很多时间在自旋锁中。我注意到这是一个问题,即使没有直接使用futexes,而且在调用malloc / free,rand,glib互斥调用以及调用futex的其他系统/库调用时也是如此。是否 ANY 摆脱这种行为?

我使用的是内核2.6.32-279.9.1.el6.x86_64的CentOS 6.3。我还尝试了直接从kernel.org下载的最新稳定内核3.6.6。

最初,问题发生在具有16GB RAM的24核服务器上。该过程有700个线程。使用“perf record”收集的数据显示,从__lll_lock_wait_private和__lll_unlock_wake_private调用的futex调用自旋锁,并占用了50%的CPU时间。当我使用gdb停止进程时,回溯显示对__lll_lock_wait_private __lll_unlock_wake_private的调用是从malloc和free开始的。

我试图减少这个问题,所以我写了一个简单的程序,显示它确实是导致螺旋锁问题的互斥体。

启动8个线程,每个线程执行以下操作:

   //...
   static GMutex *lMethodMutex = g_mutex_new ();
   while (true)
   {
      static guint64 i = 0;
      g_mutex_lock (lMethodMutex);
      // Perform any operation in the user space that needs to be protected.
      // The operation itself is not important.  It's the taking and releasing
      // of the mutex that matters.
      ++i;
      g_mutex_unlock (lMethodMutex);
   }
   //...

我在8核机器上运行它,有足够的RAM。

使用“top”,我观察到机器空闲率为10%,用户模式为10%,系统模式为90%。

使用“perf top”,我观察了以下内容:

 50.73%  [kernel]                [k] _spin_lock
 11.13%  [kernel]                [k] hpet_msi_next_event
  2.98%  libpthread-2.12.so      [.] pthread_mutex_lock
  2.90%  libpthread-2.12.so      [.] pthread_mutex_unlock
  1.94%  libpthread-2.12.so      [.] __lll_lock_wait
  1.59%  [kernel]                [k] futex_wake
  1.43%  [kernel]                [k] __audit_syscall_exit
  1.38%  [kernel]                [k] copy_user_generic_string
  1.35%  [kernel]                [k] system_call
  1.07%  [kernel]                [k] schedule
  0.99%  [kernel]                [k] hash_futex

我希望此代码在spinlock中花费一些时间,因为futex代码必须获取futex等待队列。我还希望代码在系统中花费一些时间,因为在这段代码中,用户空间中运行的代码非常少。但是,在自旋锁中花费的时间有50%似乎过多,特别是当需要这个cpu时间来完成其他有用的工作时。

1 个答案:

答案 0 :(得分:3)

我也遇到过类似的问题。我的经验是,在锁定和解锁很多时,您可能会看到性能损失甚至死锁,具体取决于libc版本和许多其他模糊的东西(例如调用fork(),如here)。

This guy通过切换到tcmalloc解决了他的性能问题,这可能是个好主意,具体取决于用例。对你来说也值得一试。

对我来说,当我有多个线程进行大量锁定和解锁时,我看到了可重现的死锁。我从2010年开始使用带有libc的Debian 5.0 rootfs(嵌入式系统),并通过升级到Debian 6.0解决了这个问题。