Question

重用使用Intel TBB功能的线程时，我们会遇到很高的内存开销。我们期望一旦线程完成给定的工作负载，它就会释放相应的内存。但是，即使在线程执行工作单元之间存在长时间暂停，情况似乎也不是这样。

我们准备了一个示例来说明问题：

int main() {
   blocking_queue<size_t> command_input_queue;
   tbb::atomic<size_t> count = 1;
   //workers
   std::vector<std::thread> worker;
   for(size_t i = 0; i < 15; i++) {
      worker.push_back(std::thread([&command_input_queue, &count](){
        while(true)
        {
            size_t size;
            //wait for work..
            command_input_queue.wait_and_pop(size);
            //do some work with Intel TBB
            std::vector<int32_t> result(size);
            for(size_t i = 0; i < result.size(); i++) {
                result[i] =  i % 1000;
            }
            tbb::parallel_sort(result.begin(), result.end());
            size_t local_count = count++;
            std::cout << local_count << " work items executed " << std::endl;
        }
    }));
   }
   //enqueue work
   size_t work_items = 15;
   for(size_t i = 0; i < work_items   ; i++) {
      command_input_queue.push(10 * 1000 * 1000);
   }

   while(true) {
      boost::this_thread::sleep( boost::posix_time::seconds(1) );
      if(count > 15) {
         break;
      }
   }
   //wait for more commands
   std::cout << "Wait" << std::endl;
   boost::this_thread::sleep( boost::posix_time::seconds(60) );

   //----!During the wait, while no thread is active, 
   //the process still claims over 500 MB of memory!----
   for(size_t i = 0; i < 15; i++) {
     command_input_queue.push(1000 * 1000);
   }
...

在示例中，我们启动了15个工作线程。他们等待任务并执行tbb :: parallel_sort并在完成后释放所有资源。问题是在处理完所有任务并且所有工作人员等待新任务之后，该过程仍然要求500MB内存。

像valgrind's massif这样的工具没有向我们展示内存的声称。我们将该程序与libtbb.so相关联。所以tbb分配器不应该是问题。

当一个工人闲置时，有人知道我们如何释放记忆吗？

Answer 1

在调用delete或free后，通常不会将堆分配的内存返回给操作系统。您需要调用malloc_trim或您的分配器特定功能来执行此操作。

Answer 2

TBB调度程序缓存任务分配，尽管它连接了分配器，但它没有解释500MB。可以解释的是TBB动态加载TBB分配器，如果它可以在libtbb.so旁边找到它，它会缓存内存。您可以通过设置env var TBB_VERSION=1

来检查是否已激活tbbmalloc

对我来说很奇怪的是，为什么在TBB创建自己的工人的同时，用工作线程来超额认购机器呢？

intel tbb内存开销

2 个答案: