带StreamReader.ReadLine的GZipStream只读取第一行

时间:2014-09-18 17:22:58

标签: c# compression gzip streamreader gzipstream

我有一个包含需要清理的txt文件的gzip文件。我想逐行读取GZipped文件,然后将清理后的内容一次性写入输出GZIP文件,如下所示:

    void ExtractAndFix(string inputPath, string outputPath) {
        StringBuilder sbLine = new StringBuilder();

        using (GZipStream gzInput = new GZipStream(new FileStream(inputPath, FileMode.Open), System.IO.Compression.CompressionMode.Decompress)) {
            using (StreamReader reader = new StreamReader(gzInput, Encoding.UTF8)) {
                using (GZipOutputStream gzipWriter = new GZipOutputStream(new FileStream(outputPath, FileMode.Create))) {
                    string line = null;
                    while ((line = reader.ReadLine()) != null) {
                        sbLine.Clear();
                        sbLine.Append(line.Replace("\t", " "));
                        sbLine.Append("\r\n");
                        byte[] bytes = Encoding.UTF8.GetBytes(sbLine.ToString());
                        gzipWriter.Write(bytes, 0, bytes.Length);
                    }
                }
            }
        }
    }

但由于某些原因,在while循环中调用line = reader.ReadLine()只读取一次然后返回null(reader EOS = true)。我已经尝试使用本机C#压缩库和ICSharpCode包,我得到了相同的行为。我意识到我总是可以提取完整的文件,然后清理它,然后重新压缩它,但我不想浪费资源,硬盘空间等。注意:这些是大文件(压缩到几GB)所以任何事情使用MemoryStream不是一个好的解决方案。以前有没有人遇到过这样奇怪的事?谢谢。

1 个答案:

答案 0 :(得分:6)

经过大量的拔毛后,我似乎找到了问题。对我来说,问题进一步复杂化的事实是,某些GZip文件可以正常工作而其他GZip文件会显示上述行为。例如,如果我自己使用GZip创建了存档,那么它可以很好地工作,但是从其他来源生成的某些其他存档不会。

简而言之,.NET GZip库是垃圾,不要使用它。另外,我使用的ICSharpCode库已有几年了。我不确定它是否曾经捎带在底层的.NET代码上,但我之前的版本(0.85.4)给出了完全相同的行为。当我升级到最新版本(0.86.0)时,它按预期工作,我能够按预期读取完整文件。

希望这可以帮助其他人解决同样的问题