Question

我的目的是在工作线程正在读取csv文件并发信号通知主gui更新进程的同时，在主gui中更新进度条。

是否可以快速计算csv文件中的行数？下面的代码不处理任何数据需要33秒才能遍历整个文件。

如果我第二次读取文件时包含实际数据处理，则需要花费额外的86秒。

如果我连续执行此操作，则我有10个文件，加载文件需要20分钟。我可以尝试并行读取它们以减少时间，但我想进一步减少每个文件的读取时间。

任何有关如何实现这一目标的建议将不胜感激。

QTime myTimer;
myTimer.start();

QFile file( ui->Data->text().toStdString().c_str());
            if (!file.open(QIODevice::ReadOnly | QIODevice::Text))
                return;

        int rows = 0;
        while (!file.atEnd())
        {
            QByteArray line = file.readLine();
            rows++;
        }

        qDebug() << "number of rows" << rows;

 /*io::CSVReader<2> in(ui->Data->text().toStdString().c_str());
    in.read_header(io::ignore_extra_column,"Absolute time","Pressure");
    std::string Abst;
    double PressureData;

    in.read_row(Abst,PressureData);

    m_Pressures.reserve(1000000);

    //qDebug() << QString::fromStdString(Abst) << ts.time_since_epoch().count();

    while(in.read_row(Abst,PressureData))
    {
        time_stamp ts = convertFileNameToTimestamp(Abst);
        Pressure p(ts,PressureData);
        m_Pressures.push_back(p);
    }

    qDebug() << m_Pressures[0].GetPressure() << m_Pressures[0].GetTimeStamp().time_since_epoch().count();
    */
      int nMilliseconds = myTimer.elapsed();
        qDebug() << "Elapsed time in milliseconds" << nMilliseconds;

这是csv文件的行示例。有7567241行。

2019-08-31 16:28:29.283250,35.3457375033909

Answer 1

要显示进度条，您可以计算：

int progress_percent = processed_bytes * 100. / file_size;

但是，知道CSV行数可以使您预分配要读取的列数组，而无需重新分配内存。行数的上限是换行符+1的计数（如果最后一行不以换行符结尾）。

快速计算csv文件中的行数的方法c ++

1 个答案: