逐行改进C ++的文件读取?

时间:2015-12-28 12:54:23

标签: c++ performance file-io

我正在解析一个~500GB的日志文件,而我的C ++版本需要3.5分钟而我的Go版本需要1.2分钟。

我正在使用C ++的流来传输文件的每一行以进行解析。

#include <fstream>
#include <string>
#include <iostream>

int main( int argc , char** argv ) {
   int linecount = 0 ;
   std::string line ;
   std::ifstream infile( argv[ 1 ] ) ;
   if ( infile ) {
      while ( getline( infile , line ) ) {
          linecount++ ;
      }
      std::cout << linecount << ": " << line << '\n' ;
   }
   infile.close( ) ;
   return 0 ;
}

首先,为什么使用这段代码这么慢? 其次,我如何改进它以使其更快?

3 个答案:

答案 0 :(得分:12)

C ++标准库iostreams非常慢,标准库的所有不同实现都是如此。为什么?因为该标准对实施提出了许多要求,这些要求会抑制最佳性能。标准库的这一部分大约在20年前设计,在高性能基准测试中并不具备真正的竞争力。

你怎么能避免它?使用其他库来实现高性能异步I / O,例如boost asio或操作系统提供的本机功能。

如果您希望保持在标准范围内,则std::basic_istream::read()功能可满足您的性能要求。但在这种情况下,你必须自己进行缓冲和计数。这是如何做到的。

#include <algorithm>
#include <fstream>
#include <iostream>
#include <vector>

int main( int, char** argv ) {
   int linecount = 1 ;
   std::vector<char> buffer;
   buffer.resize(1000000); // buffer of 1MB size
   std::ifstream infile( argv[ 1 ] ) ;
   while (infile)
   {
       infile.read( buffer.data(), buffer.size() );
       linecount += std::count( buffer.begin(), 
                                buffer.begin() + infile.gcount(), '\n' );
   }
   std::cout << "linecount: " << linecount << '\n' ;
   return 0 ;
}

让我知道,如果它更快!

答案 1 :(得分:4)

构建于@Ralph Tandetzky answer但是转向低级C IO函数,假设Linux平台使用的文件系统提供了良好的直接IO支持(但保持单线程):

#define BUFSIZE ( 1024UL * 1024UL )
int main( int argc, char **argv )
{
    // use direct IO - the page cache only slows this down
    int fd = ::open( argv[ 1 ], O_RDONLY | O_DIRECT );

    // Direct IO needs page-aligned memory
    char *buffer = ( char * ) ::valloc( BUFSIZE );

    size_t newlines = 0UL;

    // avoid any conditional checks in the loop - have to
    // check the return value from read() anyway, so use that
    // to break the loop explicitly
    for ( ;; )
    {
        ssize_t bytes_read = ::read( fd, buffer, BUFSIZE );
        if ( bytes_read <= ( ssize_t ) 0L )
        {
            break;
        }

        // I'm guessing here that computing a boolean-style
        // result and adding it without an if statement
        // is faster - might be wrong.  Try benchmarking
        // both ways to be sure.
        for ( size_t ii = 0; ii < bytes_read; ii++ )
        {
            newlines += ( buffer[ ii ] == '\n' );
        }
    }

    ::close( fd );

    std::cout << "newlines:  " << newlines << endl;

    return( 0 );
}

如果你真的需要更快,请使用多个线程来读取和计算换行符,以便在计算换行符时重新读取数据。但是如果你没有使用专为高性能设计的非常快的硬件,那就太过分了。

答案 2 :(得分:0)

来自旧商品C的I / O例程应该比笨拙的C ++流快得多。如果你知道所有行的长度的合理上限,那么你可以使用fgetschar line[1<<20];之类的缓冲区。由于您要实际解析数据,因此您可能只想直接从文件中使用fscanf

请注意,如果您的文件实际存储在硬盘驱动器上,那么无论如何硬盘读取速度都会成为瓶颈,如here所述。这就是为什么你真的不需要最快的CPU端解析来最小化处理时间,也许简单的fscanf就足够了。