我的目标是使用带有pthreads的线程池并尝试在这两种线程模型之间进行选择,在我看来,对等模型在使用固定输入时更合适,而boss / worker模型更好用于动态更改工作项。但是,我有点不确定如何让对等模型与线程池一起工作。
我有许多任务都需要在同一个数据集上执行。这是一些简单的伪代码,用于解决这个问题:
data = [0 ... 999]
data_index = 0
data_size = 1000
tasks = [0 ... 99]
task_index = 0
threads = [0 ... 31]
thread_function()
{
while (true)
{
index = data_index++ (using atomics)
if index > data_size
{
sync
if thread_index == 0
{
data_index = 0
task_index++
sync
}
else
{
sync
}
continue
}
tasks[task_index](data[index])
}
}
(首先,似乎应该有一种方法可以只使用一个同步点,但我不确定这是否可行?)
上面的代码似乎适用于预先知道任务的情况,尽管我猜这个特定问题不需要线程池。但是,即使数据项仍然是在所有任务中预定义的,如果事先不知道任务,那么老板/工人模型似乎更适合?是否可以使用boss / worker模型,但仍然允许线程本身(如上所述)拾取任务,在这里,boss会基本上暂停,直到所有任务完成为止? (也许这仍然被称为同伴模型?)
最后一个问题是关于同步,障碍或条件变量以及为什么?
如果有人能就如何更好地解决这个问题提出任何建议,甚至在我的任何假设中挖洞,那会不会很好?不幸的是,我被限制使用更高级别的库,如tbb来解决这个问题。
编辑:我应该指出,如果不清楚,每个任务都需要在完成下一个任务之前完成。
答案 0 :(得分:1)
我对你的描述感到有点困惑,希望以下内容是相关的。
我总是看着这种模式,发现它很有用:"老板"负责检测工作并根据某种算法将其发送到工作池,从那时起,工作者是独立的。
在这种情况下,工作人员总是在等待工作,不知道任何其他实例,处理请求以及何时完成,可能会触发完成通知。 这具有工作本身和在线程之间平衡的算法之间的良好分离的优点。
另一个选择是"老板"维持一个工作项目池,工人们一旦获得自由就会随时接收它们。但我想这实现起来比较复杂,需要更多的同步。我没有看到第二种方法比前一种方法带来的好处。
控制逻辑和工人状态由"老板"维护。在两种情况下。 由于平行工作是在一项任务上完成的,所以"老板" "对象"正在处理一项任务,在一个简单的实现中,这个老板"阻止任务完成,允许呼叫下一个老板"在线。
关于同步,除非我在这里遗漏了一些东西,否则你只需要为所有工人完成一次同步,这个同步是在" boss"工人只是发送他们完成的通知。