Question

当我尝试读取大文件（~412 MB）时，文件突然停止读取。该计划工作了一个月，但现在我错了。我不知道为什么。你能帮帮忙吗？当我使用Purify进行检查时，它说该程序的内存分配失败

 s.write(block, f.gcount());

我正在写一个大文件到缓冲区（我正在阅读大块文件）。然后我解析这个缓冲区并读取文件的下一部分。我尝试用较少的碎片读取文件，但结果是一样的：程序刚停止读取，然后什么都不做。没有任何异常（我试图捕获std :: exception）是什么原因？你能帮忙吗？

该文件非常简单：

p edge 45 45

e 4 1 

e 5 6

等等

以下是代码：

   readFile(char name[]) {
       ifstream f;
       f.open(name,ifstream::binary);
       char buffer[256], token[20];
       int i, j, k, tmp;
       int vi = 0, vj = 0;
       int num_edges = 0;

       if (! f.is_open()) 
       { 
            cout << "Error opening file: " << name << endl; 
            //_getch();
        exit(1); 
       }

       strstream s;
       static const int N = 1024*1024;
       char block[N];


    while (! f.eof() ) 
    {
        s.clear();
        f.read(block, N);
        s.write(block, f.gcount());

        while (! s.eof())
        {
            s.getline(buffer, 250);
            if (s.eof())
            {
                s.write(buffer, s.gcount());
                break;
            }

            if (buffer[0] == 'c')
            {
                continue;
            }

            if (buffer[0] == 'p') 
            {
                cout << buffer << endl;
                sscanf(&buffer[7], "%d", &globalColouredVertices.size);

                if(globalColouredVertices.size > MAX_VERTICES) {
                    cout << "Too many vertices (> " << MAX_VERTICES << ")"<< endl;
                    exit(2);
                }

                //e.resize(globalColouredVertices.size);
                for (i = 0; i < globalColouredVertices.size; i++)
                {
                    globalColouredVertices.ele[i].point = i;
                }
            }
            if (buffer[0] == 'e') 
            {
                num_edges++;
                i = 2;
                j = 0;
                while ((buffer[i] >= '0') && (buffer[i] <= '9')) 
                { 
                    token[j++] = buffer[i];
                    i++; 
                }
                token[j] = '\0';
                vi = atoi(token);
                i++;
                j = 0;
                while ((buffer[i] >= '0') && (buffer[i] <= '9')) 
                { 
                    token[j++] = buffer[i];
                    i++; 
                }
                token[j] = '\0';
                vj = atoi(token);
                vi--;
                vj--;
                e[vi][vj] = 1;
                e[vj][vi] = 1;
            }

            if (num_edges % 10000 == 0)
                cout << num_edges << endl;
            else if (num_edges %  24380000 == 0) {
                cout << endl;
            }
        }
    }
 }

Answer 1

您使用strstream作为缓冲区已被破坏，几乎肯定是不必要的。

此代码会在您的strstream中添加部分行。所以当你逐行阅读它时，你可能会在每个缓冲区的末尾得到一条不完整的行，然后在下一行的开头就得到另一条不完整的行。

    f.read(block, N);
    s.write(block, f.gcount());

这与你的代码中缺少任何数组绑定检查（特别是这个片段以及其他人提到的那些）一起意味着这是一个等待发生的汽车崩溃。

            e[vi][vj] = 1;
            e[vj][vi] = 1;

我强烈推荐你

a：完全删除strstream缓冲区。
b：考虑使用 std :: vector而不是手动分配缓冲区。
c：那你可以使用at()函数进行边界检查访问，这将抛出异常。

在完成之前不要担心优化或性能。

Answer 2

这可能不是您所看到的问题，但您的代码中存在一些潜在的缓冲区溢出。例如：

while ((buffer[i] >= '0') && (buffer[i] <= '9')) 
{ 
    token[j++] = buffer[i];
    i++; 
}

您应该检查索引是否超过缓冲区大小。

文件读取停止

2 个答案: