C ++ std :: bad_alloc错误

Question

我正在开发一个C ++程序（C ++ 98）。它读取包含许多行（10000行）的文本文件。这些是制表符分隔值，然后我将其解析为Vector of Vector对象。但它似乎适用于某些文件（较小）但我的一个文件给我以下错误（此文件有10000行，它是90MB）。我猜这是一个与记忆有关的问题？ 你能帮我吗？

错误

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Abort

代码

void AppManager::go(string customerFile) {

    vector<vector<string> > vals = fileReader(customerFile);

    for (unsigned int i = 0; i < vals.size();i++){

        cout << "New One\n\n";

        for (unsigned int j = 0; j < vals[i].size(); j++){

            cout << vals[i][j] << endl;
        }

        cout << "End New One\n\n";
    }
}

vector<vector<string> > AppManager::fileReader(string fileName) {

    string line;
    vector<vector<string> > values;

    ifstream inputFile(fileName.c_str());

    if (inputFile.is_open()) {

        while (getline(inputFile,line)) {

            std::istringstream iss(line);
            std::string val;
            vector<string> tmp;

            while(std::getline(iss, val, '\t')) {

                tmp.push_back(val);
            }

            values.push_back(tmp);
        }

        inputFile.close();
    }
    else {

        throw string("Error reading the file '" + fileName + "'");
    }

    return values;
}

Answer 1

您的代码没有任何问题，您只是在可能具有较小内存限制的平台上运行，可能是旧的编译器，可能是旧的C ++库。这一切都是对你不利的。你必须进行微观优化:(

这是你可以做的，首先从最低挂果开始：

1. 干一遍文件，只计算线条。然后values.resize(numberOfLines)，寻找开头，然后才读取值。当然，您不再使用values.push_back，而只是values[lineNumber] = tmp。在添加时调整values向量的大小可能会使您的流程临时需要的内存量增加一倍以上。

2. 在该行的末尾，执行tmp.resize(tmp.size() - 它会缩小向量以适合数据。

3. 您可以通过将所有值存储在一个向量中来减少现有代码中的开销。

   1. 如果每一行都有不同数量的元素，但您稍后可以顺序访问它们，则可以将空字符串存储为内部分隔符，它可能比矢量具有更低的开销。

   2. 如果每一行都有相同数量的值，那么按行分割会增加不必要的开销 - 你知道每行中第一个值的索引，它只是lineNumber * valuesPerLine，其中第一行有数字{ {1}}。

4. 内存映射文件。将每个单词的开头和结尾存储在向量的结构元素中，如果需要将其分成行，也可以使用行号。