线程池 - boss / worker vs peer(workcrew)模型

时间:2012-03-31 10:38:04

标签: c multithreading design-patterns pthreads threadpool

我的目标是使用带有pthreads的线程池并尝试在这两种线程模型之间进行选择,在我看来,对等模型在使用固定输入时更合适,而boss / worker模型更好用于动态更改工作项。但是,我有点不确定如何让对等模型与线程池一起工作。

我有许多任务都需要在同一个数据集上执行。这是一些简单的伪代码,用于解决这个问题:

data = [0 ... 999]
data_index = 0
data_size = 1000

tasks = [0 ... 99]
task_index = 0    

threads = [0 ... 31]

thread_function()
{
    while (true)
    {
        index = data_index++ (using atomics)
        if index > data_size
        {
            sync

            if thread_index == 0
            {
                data_index = 0
                task_index++
                sync
            }
            else
            {
                sync
            }
            continue
        }

        tasks[task_index](data[index])
    }
}

(首先,似乎应该有一种方法可以只使用一个同步点,但我不确定这是否可行?)

上面的代码似乎适用于预先知道任务的情况,尽管我猜这个特定问题不需要线程池。但是,即使数据项仍然是在所有任务中预定义的,如果事先不知道任务,那么老板/工人模型似乎更适合?是否可以使用boss / worker模型,但仍然允许线程本身(如上所述)拾取任务,在这里,boss会基本上暂停,直到所有任务完成为止? (也许这仍然被称为同伴模型?)

最后一个问题是关于同步,障碍或条件变量以及为什么?

如果有人能就如何更好地解决这个问题提出任何建议,甚至在我的任何假设中挖洞,那会不会很好?不幸的是,我被限制使用更高级别的库,如tbb来解决这个问题。

编辑:我应该指出,如果不清楚,每个任务都需要在完成下一个任务之前完成。

1 个答案:

答案 0 :(得分:1)

我对你的描述感到有点困惑,希望以下内容是相关的。

我总是看着这种模式,发现它很有用:"老板"负责检测工作并根据某种算法将其发送到工作池,从那时起,工作者是独立的。

在这种情况下,工作人员总是在等待工作,不知道任何其他实例,处理请求以及何时完成,可能会触发完成通知。 这具有工作本身和在线程之间平衡的算法之间的良好分离的优点。

另一个选择是"老板"维持一个工作项目池,工人们一旦获得自由就会随时接收它们。但我想这实现起来比较复杂,需要更多的同步。我没有看到第二种方法比前一种方法带来的好处。

控制逻辑和工人状态由"老板"维护。在两种情况下。 由于平行工作是在一项任务上完成的,所以"老板" "对象"正在处理一项任务,在一个简单的实现中,这个老板"阻止任务完成,允许呼叫下一个老板"在线。

关于同步,除非我在这里遗漏了一些东西,否则你只需要为所有工人完成一次同步,这个同步是在" boss"工人只是发送他们完成的通知。