编写大量txt文件(90),每个文件5MB,最多需要1400s

时间:2012-11-11 21:41:31

标签: c++ text ofstream

我是电气工程专业的学生。

作为一种分配,我需要实现医学成像中使用的反投影算法以形成图像。 为了计算最终图像,计算了许多信息并将其保存在矢量中。 在最终图像的某个所需分辨率(256 * 256像素)下,程序在RAM耗尽时崩溃,因此我决定将此信息写入90个文本文件。

我使用ofstream来编写这些文件。

计算此信息然后将其存储在向量中所需的时间是:

  • 输出分辨率64x64:13,4s
  • 输出分辨率128x128:140s

在.txt文件中写下此信息:

  • 64x64 156s(1,25 MB /文件)
  • 128x128 1400s(5MB / file)

代码写入文件:

ofstream file;
    for(k = 0; k < 90; k++)
        {    
        oss.str(""); //string stream
        oss << "rec\\reconstruction_matrix_step"<< k << ".txt" ; // per step other file
        filename = path;
        filename.append(oss.str());
        file.open(filename.c_str());
        double weight;
          for( l = 0; l < resolution; l ++)
          {

           bestand << "Begin " << l << endl;
           l_border = - WIDTH*(resolution*1.0/2.0 - l);
           r_border = - WIDTH*(resolution*1.0/2.0 - l) + WIDTH;

           for(i = 0; i < resolution; i++)
           {
              for(j = 0; j < resolution; j++)
              {  
                     file << getSurface(pixels[i][j], l_border, r_border) << "\t";
              }
                file << "\n";
           }
           file << "End" << l << "\n\n\n";
          }
            file.close();
        }

当我使用向量时,getSurface(pixels [i] [j],l_border,r_border)被放入向量中而不是写入文件。

有什么方法可以加快这个过程吗?

2 个答案:

答案 0 :(得分:2)

如果bestand是复制剩余且与file相同,我会将endl替换为'\n'std::endl刷新输出流并破坏iostream缓冲获得的任何吞吐量。

如果这不是您的问题,我建议您分析您的程序。通过分析,您可以使用数字替换猜测,您可以在其上进行进一步的操作。

答案 1 :(得分:2)

尝试将格式从文本更改为二进制;这可能会大大减少文件大小(和文件写入时间)。

file.open(filename.c_str(), ios_base::binary);
...
// The following writes a vector into a file in binary format
vector<double> v;
const char* pointer = reinterpret_cast<const char*>(&v[0]);
size_t bytes = v.size() * sizeof(v[0]);
file.write(pointer, bytes);