Question

我是论坛的新手，但不是本网站的新手。我几周来一直在寻找如何使用C ++ 11快速处理大型数据文件的方法。我尝试使用一个能够捕获跟踪文件名，打开并处理数据的成员的函数。跟踪文件包含200万行数据，每行由读/写操作和十六进制地址构成：

r abcdef123456

但是，对于包含大量数据的文件，我需要快速读入并解析这两个值。我第一次尝试阅读该文件的内容如下：

＆＃13;

void getTraceData(string filename)
{
  ifstream inputfile;
  string file_str;
  vector<string> op, addr;

  // Open input file
  inputfile.open(filename.c_str());
  cout << "Opening file for reading: " << filename << endl;

  // Determine if file opened successfully
  if(inputfile.fail())
  {
    cout << "Text file failed to open." << endl;
    cout << "Please check file name and path." << endl;
    exit(1);
  }

  // Retrieve and store address values and operations
  if(inputfile.is_open())
  {
    cout << "Text file opened successfully." << endl;

    while(inputfile >> file_str)
    {
      if((file_str == "r") || (file_str == "w"))
      {
        op.push_back(file_str);
      }
      else
      {
        addr.push_back(file_str);
      }
    }
  }
  inputfile.close();
  cout << "File closed." << endl;
 }

＆＃13;

它运行，运行，并在文件中读取。不幸的是，程序花了8分钟来运行并读取文件。我将第一个程序修改为第二个程序，以便更快地尝试读取文件。它做了，在几分之一秒内将文件读入缓冲区，而不是8分钟。使用ifstream：

＆＃13;

void getTraceData()
{
  	// Setup variables
	char* fbuffer;
	ifstream ifs("text.txt");
	long int length;
	clock_t start, end;

	// Start timer + get file length
	start = clock();
	ifs.seekg(0, ifs.end);
	length = ifs.tellg();
	ifs.seekg(0, ifs.beg);

	// Setup buffer to read & store file data
	fbuffer = new char[length];
	ifs.read(fbuffer, length);
	ifs.close();
	end = clock();

	float diff((float)end - (float)start);
	float seconds = diff / CLOCKS_PER_SEC;

	cout << "Run time: " << seconds << " seconds" << endl;

	delete[] fbuffer;
}

＆＃13;

但是当我添加代码的解析部分，获取每一行，并逐行解析缓冲区内容以将两个值存储在两个单独的变量中时，程序在包含getline的while循环中静默退出来自缓冲区：

＆＃13;

void getTraceData(string filename)
{
	// Setup variables
	char* fbuffer;
	ifstream ifs("text.txt");
	long int length;
	string op, addr, line;
	clock_t start, end;

	// Start timer + get file length
	start = clock();
	ifs.seekg(0, ifs.end);
	length = ifs.tellg();
	ifs.seekg(0, ifs.beg);

	// Setup buffer to read & store file data
	fbuffer = new char[length];
	ifs.read(fbuffer, length);
	ifs.close();

	// Setup stream buffer
	const int maxline = 20;
	char* lbuffer;
	stringstream ss;

	// Parse buffer data line-by-line
	while(ss.getline(lbuffer, length))
	{
		while(getline(ss, line))
		{
			ss >> op >> addr;
		}
		ss.ignore( strlen(lbuffer));
	}
	end = clock();

	float diff((float)end - (float)start);
	float seconds = diff / CLOCKS_PER_SEC;

	cout << "Run time: " << seconds << " seconds" << endl;

	delete[] fbuffer;
	delete[] lbuffer;  
}

＆＃13;

我想知道，一旦我的文件被读入缓冲区，我该如何检索它并将其存储到变量中？为了增加价值，我的基准时间不到2分钟。读取和处理数据文件。但是现在，我只专注于输入文件，而不是我的程序的其余部分或它运行的机器（代码可以移植到其他机器）。语言是C ++ 11，OS是Linux计算机。很抱歉长篇大论。

Answer 1

您的stringstream ss根本与fbuffer无关。您正尝试从getline空stringstream，因此没有任何反应。试试这个：

string inputedString(fbuffer);
istringstream ss(fbuffer);

在ss.getline(lbuffer, length)之前，请为lbuffer分配内存。

实际上，您可以直接将文件读入字符串以避免复制构造。请检查此Reading directly from an std::istream into an std::string。

最后但并非最不重要的是，由于您的vector非常大，因此您最好在push_back项目之前保留足够的空间。当向量达到其容量时，尝试将push_back另一个项目放入其中将导致重新分配和复制所有先前的项目，以确保连续存储。数以百万计的项目将使这种情况发生很多次。

检索存储在缓冲区中的文件数据

1 个答案: