Question

我在Ubuntu 12.04 x86_64上使用QuaZIP 0.5.1和Qt 5.1.1 for C ++。

我的程序读取一个大的gzip压缩文件，通常是1GB或更多的未压缩数据，并对其进行一些计算。它不是计算量大的，并且大部分时间都是通过I / O传递的。因此，如果我能找到报告文件数据的方法，我可以在进度条上报告，甚至可以估算ETA。

我打开文件：

QuaGzipFile gzip(fileName);
if (!gzip.open(QIODevice::ReadOnly))
{
    // report error
    return;
}

但QuaGzipFile中没有找到文件大小和当前位置的功能。

我不需要查找未压缩流的大小和位置，压缩流的大小和位置都很好，因为粗略估计进度就足够了。

目前，我可以使用QFile(fileName).size()找到压缩文件的大小。此外，通过保持gzip.read()的返回值总和，我可以轻松找到未压缩流中的当前位置。但这两个数字不匹配。

我可以改变QuaZIP库，并访问内部与zlib相关的内容，如果有帮助的话。

Answer 1

没有可靠的方法来确定未压缩流的总大小。有关详细信息和可能的解决方法，请参阅this answer。

但是，有一种方法可以在压缩流中获得位置：

QFile file(fileName);
file.open(QFile::ReadOnly);
QuaGzipFile gzip;
gzip.open(file.handle(), QuaGzipFile::ReadOnly);
while(true) {
  QByteArray buf = gzip.read(1000);
  //process buf
  if (buf.isEmpty()) { break; }
  QFile temp_file_object;
  temp_file_object.open(file.handle(), QFile::ReadOnly);
  double progress = 100.0 * temp_file_object.pos() / file.size();
  qDebug() << qRound(progress) << "%";
}

这个想法是手动打开文件并使用文件描述符来获取位置。 QFile无法跟踪外部位置更改，因此file.pos()将始终为0.因此我们从文件描述符创建temp_file_object，强制QFile请求文件位置。我可以使用一些较低级别的API（例如lseek()）来获取文件位置，但我认为我的方式更具跨平台性。

请注意，此方法不是非常准确，并且可以使进度值大于实际值。那是因为zlib可以在内部读取和解码比您已读过的更多的数据。

Answer 2

在zlib 1.2.4及更高版本中，您可以使用gzoffset()函数获取压缩文件中的当前位置。 zlib的当前版本是1.2.8。

Answer 3

使用丑陋的黑客攻击zlib，我能够在压缩流中找到位置。

首先，我将gz_stream的定义从gzio.c（从zlib-1.2.3.4源代码）复制到quagzipfile.cpp的末尾。然后我重新实现了虚函数qint64 QIODevice::pos() const：

qint64 QuaGzipFile::pos() const
{
    gz_stream *s = (gz_stream *)d->gzd;
    return ftello64(s->file);
}

由于quagzipfile.cpp和quagzipfile.h似乎独立于其他QuaZIP库文件，也许最好从这些文件中复制我需要的功能并避免这种黑客攻击？

当前版本的程序是这样的：

QFile infile(fileName);
if (!infile.open(QIODevice::ReadOnly))
    return;
qint64 fileSize = infile.size;
infile.close();

QuaGzipFile gzip(fileName);
if (!gzip.open(QIODevice::ReadOnly))
    return;
qint64 nread;
char buffer[bufferSize];
while ((nread = gzip.read(&buffer, bufferSize)) > 0)
{
    // use buffer
    int percent = 100.0 * gzip.pos() / fileSize;
    // report percent
}
gzip.close();

如何报告在QuaGzipFile（QuaZIP库）上读取的数据的进度

3 个答案: