我有一些类似这样的代码:
class MyTask {
public:
run(size_t pool_size) {
... // do some pre things
std::vector<std::string> name_list=read_a_list(); // read task list
std::vector<std::pair<std::string, double>> result_list; // name & time
boost::thread_pool pool(pool_size); // "pool_size" threads in pool
size_t max_task=2*pool_size; // max "2*pool_size" tasks in queue
size_t task_number=0; // using task_number to limit the number of tasks in queue
boost::mutex task_number_mu;
boost::condition_variable_any task_number_condition;
for(size_t idx=0;idx<name_list.size();++idx){
boost::unique_lock<boost::mutex> out_lock(task_number_mu);
task_number_condition.wait(out_lock, [&] {
return task_number < max_task;
});
++task_number;
boost::asio::post(pool,
[&,idx] {
{
boost::unique_lock<boost::mutex> in_lock(task_number_mu);
--task_number;
task_number_condition.notify_one();
}
std::string name=name_list[idx];
Timer timer; // a class using std::chrono to collect time
timer.Start();
A a=read_A_data(name+"_a.csv"); // one file
timer.Stop();
double time_a=timer.Elapsed();
B b=read_B_data(name+"_b"); // many files in "name_b" directory
timer.Stop();
double time_b=timer.Elapsed();
result_type result=do_some_selection(a,b); // very expensive function
timer.Stop();
double time_r=timer.Elapsed();
write_result(result,name+"_result.csv"); // one file
timer.Stop();
double time_w=timer.Elapsed();
... // output idx, time_{a,b,r,w} by boost log
{
boost::lock_guard<boost::mutex> lock(result_list_mu);
result_list.emplace_back(std::make_pair(name,time_w));
}
});//post
}//for
pool.join();
... // do some other things
} //run
public :
static A read_A_data(const std::string& name_a){
... // read "name_a" file, less than 1.5M
}
static B read_B_data(const std::string& name_b){
... // read files in "name_b" directory, more than 10 files, 1M~10M per file
}
static result_type do_some_selection(A a,B b){
result_type result;
for(const auto& i:b){
for(const auto& j:a){
if(b_fit_in_a(i,j)){ //b_fit_in_a() does not have loops
result.emplace_back(i);
}//if
}//for j
}//for i
return result;
}
static void write_result(const result_type& result, const std::string& name_r){
... // write result to "name_r", about 2M~15M
}
}
当我将pool_size
设置为1(单线程)时,时间输出如下:
1 14.7845 471.214 1491.16 1927.86
2 4.247 649.694 1327 1523.7
3 5.4375 924.407 2852.44 3276.1
4 4.1798 754.361 1078.97 1187.15
5 5.4944 1284.37 2935.02 3336.19
6 5.515 694.369 2825.79 3380.3
...
我有一个Xeon-W,它是16C32T,因此将pool_size
设置为8,然后:
1 14.7919 2685.21 6600.4 7306.15
2 16.0127 2311.94 10517.2 12044.3
3 7.4403 2111.83 6210.49 7014.61
4 9.0292 2165.12 10482.5 11893
5 16.6851 1664.2 17282.7 20489.9
6 32.9876 6488.17 25730.6 25744.7
...
设置16,并且:
1 22.5189 5324.67 18018.6 20386
2 17.1096 8670.3 21245.8 23229.1
3 17.9065 10930.7 27335.3 29961.55
4 20.6321 5227.19 30733 34926
5 25.104 2372.04 13810.9 15916.7
6 39.6723 18734.3 79300.1 79393.5
...
设置32,然后:
1 39.3981 19159.7 43451.7 44527.1
2 51.1908 5693.48 43391.3 50314.4
3 42.4458 18068.6 59520.6 67359.4
4 44.1195 29214.7 70312.4 76902
5 64.1733 23071.1 86055.2 86146.7
6 44.1062 36277.5 89474.4 98104.7
...
我了解到多线程程序经常存在磁盘读/写问题,这解释了time_a
,time_b
和time_w
的增加。但是令我感到困惑的是time_r
也增加了很多。 do_some_selection
是一个静态成员函数,因此我认为线程不会交互,但是似乎我使用的线程越多,一项任务将花费更多的时间。我做错了什么?如何使这些任务并行?
答案 0 :(得分:1)
首先,您应该以明智的方式显示数据。确实如此-很难进行任何评估。就像打印时差一样,因此我们可以轻松地看到每个任务花费了多少时间,而不是“从任务开始经过了多少时间”。
第二,您运行的任务主要是磁盘读/写,并且不能完全并行化。因此,总执行时间不会有太大变化。 当您计划几个不相关的任务时-如果是单个线程,它们将几乎同时完成。但是,由于您运行多个线程,因此每个任务都将争用资源,从而将每个任务的完成推迟到大多数任务完成为止。
关于为什么“仅无关计算”会变慢。这很大程度上取决于您执行的计算。除了一些通用的可能原因之外,不能说太多了。从外观上,您可以执行一些内存操作。 RAM内存访问受内存总线限制,并且通常很慢。在单线程情况下,许多数据仍可以存储在处理器的内存缓存中,从而大大加快了处理数据的时间。但这只是可能原因的一般猜测。您应该进行更深入的分析以找到瓶颈-在PC处理器上,内存总线对于多个线程应该足够了。