Question

我目前正在从几个数据库查询中生成大量输出。生成的XML文件大约为2GB。（这是一年的数据）。为了节省一些磁盘空间和客户端的下载时间，我使用GZipStream类将此文件添加到压缩文件中。请参阅下文，了解我目前如何将文件压缩为gz。注意：fi对象是FileInfo。

using (FileStream inFile = fi.OpenRead())
using (FileStream outFile = File.Create(fi.FullName + ".gz"))
using (GZipStream Compress = new GZipStream(outFile, CompressionMode.Compress))
{
    byte[] buffer = new byte[65536];
    int numRead;
    while ((numRead = inFile.Read(buffer, 0, buffer.Length)) != 0)
    {
        Compress.Write(buffer, 0, numRead);
    }
}

这种方法工作正常，但要求我将2GB文本文件写入磁盘，然后再将其全部读回来，以便将其添加到GZipStream中，然后将其作为压缩文件再次写回。这似乎是浪费时间。

有没有办法直接将我的2GB字符串添加到GZipStream而无需先写入磁盘？

Answer 1

您可以从StreamWriter创建XmlWriter（或者在您的情况下可能是GZipStream），然后直接写信给它。

using (FileStream outFile = File.Create(fi.FullName + ".gz"))
using (GZipStream compress = new GZipStream(outFile, CompressionMode.Compress))
using (StreamWriter writer = new StreamWriter(compress))
{
    foreach(string line in GetLines())
        writer.WriteLine(line);
}

Answer 2

如果有任何方法可以将数据库结果转换为字符串，然后将其加载到MemoryStream中，那么您应该没问题：

        var databaseResult = "<xml>Very Long Xml String</xml>";

        using (var stream = new MemoryStream())
        {
            using (var writer = new StreamWriter(stream))
            {
                writer.Write(databaseResult);
                writer.Flush();
                stream.Position = 0;

                using (var outFile = File.Create(@"c:\temp\output.xml.gz"))
                using (var Compress = new System.IO.Compression.GZipStream(outFile, CompressionMode.Compress))
                {
                    var buffer = new byte[65536];
                    int numRead;
                    while ((numRead = stream.Read(buffer, 0, buffer.Length)) != 0)
                    {
                        Compress.Write(buffer, 0, numRead);
                    }
                }
            }
        }

使用GZipStream将文本文件写入gz文件，而无需先将文本文件写入磁盘

2 个答案: