Question

我正在尝试创建一个具有确定性实时响应的系统。

我创建了一些cpusets，将所有非关键任务和未固定内核线程移动到一组，然后将每个实时线程固定到自己的cpuset，每个cpuset由一个cpu组成。

$ non-critical tasks and unpinned kernel threads
cset proc --move --fromset=root --toset=system
cset proc --kthread --fromset=root --toset=system

$ realtime threads
cset proc --move --toset=shield/RealtimeTest1/thread1 --pid=17651
cset proc --move --toset=shield/RealtimeTest1/thread2 --pid=17654

我的情况是：

主题1：SCHED_OTHER，固定在set1，等待std::future<void>
主题2：SCHED_FIFO，固定在set2，致电std::promise<void>::set_value()

线程1永远阻止。 但是，如果我更改了主题2，那么SCHED_OTHER ，则主题1可以继续。

我已经运行strace -f以获得更多洞察力;好像线程1正在等待futex（我假设std::future的内部结构）但是从未被唤醒过。

我完全被阻止 - 有没有办法让一个线程自己固定到核心并将其调度程序设置为FIFO，然后使用std::promise唤醒另一个等待它完成的线程这个所谓的实时设置？

创建thread2的thread1的代码如下：

// Thread1:
std::promise<void> p;
std::future <void> f = p.get_future();

_thread = std::move(std::thread(std::bind(&Dispatcher::Run, this, std::ref(p))));

LOG_INFO << "waiting for thread2 to start" << std::endl;

if (f.valid())
    f.wait();

和thread2的 Run 函数如下：

// Thread2:
LOG_INFO << "started: threadId=" << Thread::GetId() << std::endl;

Realtime::Service* rs = Service::Registry::Lookup<Realtime::Service>();
if (rs)
    rs->ConfigureThread(this->Name()); // this does the pinning and FIFO etc

LOG_INFO << "thread2 has started" << std::endl;
p.set_value(); // indicate fact that the thread has started

strace输出如下：

主题1是[pid 17651]
主题2是[pid 17654]

为了简洁起见，我删除了一些输出。

//////// Thread 1 creates thread 2 and waits on a future ////////

[pid 17654] gettid()                    = 17654
[pid 17651] write(2, "09:29:52 INFO waiting for thread"..., 4309:29:52 INFO waiting for thread2 to start
 <unfinished ...>
[pid 17654] gettid( <unfinished ...>
[pid 17651] <... write resumed> )       = 43
[pid 17654] <... gettid resumed> )      = 17654
[pid 17651] futex(0xd52294, FUTEX_WAIT_PRIVATE, 1, NULL <unfinished ...>
[pid 17654] gettid()                    = 17654
[pid 17654] write(2, "09:29:52 INFO thread2 started: t"..., 6109:29:52 INFO thread2  started: threadId=17654
) = 61

//////// <snip> thread2 performs pinning, FIFO, etc </snip> ////////

[pid 17654] write(2, "09:29:52 INFO thread2 has starte"..., 3409:29:52 INFO thread2 has started
) = 34
[pid 17654] futex(0xd52294, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0xd52268, 2) = 1
[pid 17651] <... futex resumed> )       = 0
[pid 17654] futex(0xd522c4, FUTEX_WAKE_PRIVATE, 2147483647 <unfinished ...>
[pid 17651] futex(0xd52268, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
[pid 17654] <... futex resumed> )       = 0
[pid 17651] <... futex resumed> )       = 0

//////// blocks here forever ////////

你可以看到pid 17651（thread1）报告futex resumed，但它是否可能在错误的cpu上运行并被阻塞在以FIFO运行的thread2后面？

更新：似乎这是一个问题，线程没有在他们被固定到的cpu上运行。

带有top -p 17649 -H的{p> f,j调出last used cpu表明主题1确实在线程2的cpu上运行。

top - 10:00:59 up 18:17,  3 users,  load average: 7.16, 7.61, 4.18
Tasks:   3 total,   2 running,   1 sleeping,   0 stopped,   0 zombie
Cpu(s):  7.1%us,  0.1%sy,  0.0%ni, 89.5%id,  0.0%wa,  0.0%hi,  3.3%si,  0.0%st
Mem:   8180892k total,   722800k used,  7458092k free,    43364k buffers
Swap:  8393952k total,        0k used,  8393952k free,   193324k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  P COMMAND                                                                                                                                                                                             
17654 root      -2   0 54080  35m 7064 R  100  0.4   5:00.77 3 RealtimeTest                                                                                                                                                                                         
17649 root      20   0 54080  35m 7064 S    0  0.4   0:00.05 2 RealtimeTest                                                                                                                                                                                         
17651 root      20   0 54080  35m 7064 R    0  0.4   0:00.00 3 RealtimeTest

但是，如果我查看cpuset文件系统，我可以看到我的任务应该固定到我请求的cpus上：

/cpusets/shield/RealtimeTest1 $ for i in `find -name tasks`; do echo $i; cat $i; echo "------------"; done

./thread1/tasks
17651 
------------
./main/tasks
17649 
------------
./thread2/tasks
17654
------------

显示cpuset config：

$ cset set --list -r
cset: 
         Name       CPUs-X    MEMs-X Tasks Subs Path
 ------------ ---------- - ------- - ----- ---- ----------
         root       0-23 y     0-1 y   279    2 /
       system 0,2,4,6,8,10 n       0 n   202    0 /system
       shield 1,3,5,7,9,11 n       1 n     0    2 /shield
RealtimeTest1    1,3,5,7 n       1 n     0    4 /shield/RealtimeTest1
      thread1          3 n       1 n     1    0 /shield/RealtimeTest1/thread1
      thread2          5 n       1 n     1    0 /shield/RealtimeTest1/thread2
         main          1 n       1 n     1    0 /shield/RealtimeTest1/main

从这里我可以说thread2 假设在cpu 5上，但top表示它在cpu 3上运行。

有趣的是，sched_getaffinity报告了cpuset的作用 - thread1在cpu 3上，而thread2在cpu 5上。

但是，查看/proc/17649/task以查找每个任务的last_cpu：

/proc/17649/task $  for i in `ls -1`; do cat $i/stat | awk '{print $1 " is on " $(NF - 5)}'; done
17649 is on 2
17651 is on 3
17654 is on 3

sched_getaffinity报告一件事，但现实是另一件事

有趣的是，main线程[pid 17649]应该在cpu 1上（根据cset输出），但事实上它在cpu 2上运行（在另一个插座）

所以我会说cpuset无效？

我的机器配置是：

$ cat /etc/SuSE-release
SUSE Linux Enterprise Server 11 (x86_64)
VERSION = 11
PATCHLEVEL = 1
$ uname -a
Linux foobar 2.6.32.12-0.7-default #1 SMP 2010-05-20 11:14:20 +0200 x86_64 x86_64 x86_64 GNU/Linux

Answer 1

我已经在 SLES 11 / SP 2 框中重新进行了测试，并且钉扎工作正常。

因此，我打算将此标记为答案，即：这是与 SP 1 相关的问题

固定到核心的FIFO线程上的std :: promise :: set_value不会唤醒std :: future

1 个答案: