Question

我写了一个数字运算算法。这个想法是：

一个小的主程序需要很少的内存（从2 MB开始）
然后，在循环中，它调用一个需要相当大的内存（大约100 MB）的函数，该函数应在函数结束时释放。为了理解发生了什么，现在总是使用相同的参数调用该函数。

似乎程序慢慢占用内存所以我怀疑内存泄漏。我曾尝试过来自英特尔的Clang和Pointer Checker的Address Sanitizer，但他们没有找到任何东西。

现在，我正在调查我的Activity Monitor中的内存消耗（我正在运行OSX，但我从Unix命令“top”获得相同的内存使用量）并且在调用big函数之前，程序需要2 MB。运行该功能时，程序需要120 MB。奇怪的是，当程序结束大功能并返回循环内部时，它现在需要37 MB！然后，当它返回到大功能时，它需要130 MB。再次回到循环中，需要36 MB，然后在大功能中需要140 MB ......

所以它正在逐渐消失，但不是常规模式。我应该如何信任“top”中的内存使用情况？

内存碎片可以增加内存使用而不会造成内存泄漏吗？

我让程序一夜之间运行，这是我得到的数据：

在第一个循环中，程序需要150 MB
2小时后，在68次循环后，程序需要220 MB
经过一晚和394次循环，该程序需要480 MB

因此，似乎分配和释放内存（大约120 MB）的函数似乎每次调用时都会“泄漏”1 MB。

Answer 1

首先，确保在很长一段时间内（例如，如果一次迭代需要一分钟，运行几个小时），增长将继续。如果增长为asyptotes则没有问题。接下来我会尝试valgrind。然后，如果这没有帮助，你将不得不二进制搜索你的代码：注释掉位，直到增长停止。我将首先完全删除MKL库的使用（如果你愿意，留下存根），看看会发生什么。接下来，将您的向量更改为std::vector，看看是否有帮助。在那之后你将不得不使用你的判断。

Answer 2

我认为我找到了罪魁祸首：MKL（截至今天的最新版本）。我使用Pardiso，以下示例非常缓慢地泄漏：每13秒约0.1 MB，一夜之间导致280 MB。这些是我从模拟中得到的数字。

如果您想尝试一下，可以使用以下代码进行编译：

icpc -std=c++11 pardiso-leak.cpp -o main -lmkl_intel_lp64 -lmkl_core -lmkl_intel_thread -liomp5 -ldl -lpthread -lm

感谢大家的帮助。我已经向英特尔报告了这个错误。

#include <iostream>
#include <vector>

#include "mkl_pardiso.h"
#include "mkl_types.h"

int main (int argc, char const *argv[])
{
  const auto n = std::size_t{1000};
  auto m = MKL_INT{n * n};

  auto values = std::vector<double>();
  auto column = std::vector<MKL_INT>();
  auto row = std::vector<MKL_INT>();

  row.push_back(1);
  for(std::size_t j = 0; j < n; ++j) {
    column.push_back(j + 1);
    values.push_back(1.0);
    column.push_back(j + n + 1);
    values.push_back(0.1);
    row.push_back(column.size() + 1);
  }
  for(std::size_t i = 1; i < n - 1; ++i) {
    for(std::size_t j = 0; j < n; ++j) {
      column.push_back(n * i + j - n + 1);
      values.push_back(0.1);
      column.push_back(n * i + j + 1);
      values.push_back(1.0);
      column.push_back(n * i + j + n + 1);
      values.push_back(0.1);
      row.push_back(column.size() + 1);
    }
  }
  for(std::size_t j = 0; j < n; ++j) {
    column.push_back((n - 1) * n + j - n + 1);
    values.push_back(0.1);
    column.push_back((n - 1) * n + j + 1);
    values.push_back(1.0);
    row.push_back(column.size() + 1);
  }

  auto y = std::vector<double>(m, 1.0);
  auto x = std::vector<double>(m, 0.0);

  auto pardiso_nrhs = MKL_INT{1};
  auto pardiso_max_fact = MKL_INT{1};
  auto pardiso_mnum = MKL_INT{1};
  auto pardiso_mtype = MKL_INT{11};
  auto pardiso_msglvl = MKL_INT{0};
  MKL_INT pardiso_iparm[64];
  for (int i = 0; i < 64; ++i) {
    pardiso_iparm[i] = 0;
  }
  pardiso_iparm[0] = 1;
  pardiso_iparm[1] = 2;
  pardiso_iparm[3] = 0;
  pardiso_iparm[4] = 0;
  pardiso_iparm[5] = 0;
  pardiso_iparm[7] = 0;
  pardiso_iparm[8] = 0;
  pardiso_iparm[9] = 13;
  pardiso_iparm[10] = 1;
  pardiso_iparm[11] = 0;
  pardiso_iparm[12] = 1;
  pardiso_iparm[17] = -1;
  pardiso_iparm[18] = 0;
  pardiso_iparm[20] = 0;
  pardiso_iparm[23] = 1;
  pardiso_iparm[24] = 0;
  pardiso_iparm[26] = 0;
  pardiso_iparm[27] = 0;
  pardiso_iparm[30] = 0;
  pardiso_iparm[31] = 0;
  pardiso_iparm[32] = 0;
  pardiso_iparm[33] = 0;
  pardiso_iparm[34] = 0;
  pardiso_iparm[59] = 0;
  pardiso_iparm[60] = 0;
  pardiso_iparm[61] = 0;
  pardiso_iparm[62] = 0;
  pardiso_iparm[63] = 0;
  void* pardiso_pt[64];
  for (int i = 0; i < 64; ++i) {
    pardiso_pt[i] = nullptr;
  }

  auto error = MKL_INT{0};
  auto phase = MKL_INT{11};
  MKL_INT i_dummy;
  double d_dummy;
  PARDISO(pardiso_pt, &pardiso_max_fact, &pardiso_mnum, &pardiso_mtype,
          &phase, &m, values.data(), row.data(), column.data(), &i_dummy,
          &pardiso_nrhs, pardiso_iparm, &pardiso_msglvl, &d_dummy,
          &d_dummy, &error);
  phase = 22;
  PARDISO(pardiso_pt, &pardiso_max_fact, &pardiso_mnum, &pardiso_mtype,
          &phase, &m, values.data(), row.data(), column.data(), &i_dummy,
          &pardiso_nrhs, pardiso_iparm, &pardiso_msglvl, &d_dummy,
          &d_dummy, &error);
  phase = 33;
  for(size_t i = 0; i < 10000; ++i) {
    std::cout << "i = " << i << std::endl;
    PARDISO(pardiso_pt, &pardiso_max_fact, &pardiso_mnum, &pardiso_mtype,
            &phase, &m, values.data(), row.data(), column.data(), &i_dummy,
            &pardiso_nrhs, pardiso_iparm, &pardiso_msglvl, y.data(),
            x.data(), &error);
  }
  phase = -1;
  PARDISO(pardiso_pt, &pardiso_max_fact, &pardiso_mnum, &pardiso_mtype,
          &phase, &m, values.data(), row.data(), column.data(), &i_dummy,
          &pardiso_nrhs, pardiso_iparm, &pardiso_msglvl, &d_dummy,
          &d_dummy, &error);

  return 0;
}

如何查找是否有内存泄漏

2 个答案: