Question

gzipstream定位.Net 3.5我遇到了麻烦的问题。这是我第一次使用gzipstream，但是我已经对包括here在内的一些教程进行了建模，但我仍然坚持使用。

我的应用程序将数据表序列化为xml并插入数据库，将压缩数据存储到varbinary（max）字段以及未压缩缓冲区的原始长度。然后，当我需要它时，我检索这些数据并解压缩并重新创建数据表。解压缩似乎失败了。

编辑：遗憾的是，在按照建议将GetBuffer更改为ToArray之后，我的问题仍然存在。代码更新如下

压缩代码：

DataTable dt = new DataTable("MyUnit");
//do stuff with dt
//okay...  now compress the table
using (MemoryStream xmlstream = new MemoryStream())
{
    //instead of stream, use xmlwriter?
    System.Xml.XmlWriterSettings settings = new System.Xml.XmlWriterSettings();
    settings.Encoding = Encoding.GetEncoding(1252);
    settings.Indent = false;
    System.Xml.XmlWriter writer = System.Xml.XmlWriter.Create(xmlstream, settings);
    try
    {
        dt.WriteXml(writer);
        writer.Flush();
    }
    catch (ArgumentException)
    {
        //likely an encoding issue...  okay, base64 encode it
        var base64 = Convert.ToBase64String(xmlstream.ToArray());
        xmlstream.Write(Encoding.GetEncoding(1252).GetBytes(base64), 0, Encoding.GetEncoding(1252).GetBytes(base64).Length);
    }

    using (MemoryStream zipstream = new MemoryStream())
    {
        GZipStream zip = new GZipStream(zipstream, CompressionMode.Compress);
        log.DebugFormat("Compressing commands...");
        zip.Write(xmlstream.GetBuffer(), 0, xmlstream.ToArray().Length);
        zip.Flush();
        float ratio = (float)zipstream.ToArray().Length / (float)xmlstream.ToArray().Length;
        log.InfoFormat("Resulting compressed size is {0:P2} of original", ratio);

        using (SqlCommand cmd = new SqlCommand())
        {
            cmd.CommandText = "INSERT INTO tinydup (lastid, command, compressedlength) VALUES (@lastid,@compressed,@length)";
            cmd.Connection = db;
            cmd.Parameters.Add("@lastid", SqlDbType.Int).Value = lastid;
            cmd.Parameters.Add("@compressed", SqlDbType.VarBinary).Value = zipstream.ToArray();
            cmd.Parameters.Add("@length", SqlDbType.Int).Value = xmlstream.ToArray().Length;
            cmd.ExecuteNonQuery();

        }
    }

解压代码：

/* This is an encapsulation of what I get from the database
 public class DupUnit{
    public uint lastid;
    public uint complength;
    public byte[] compressed;
}*/
  //I have already retrieved my list of work to do from the database in a List<Dupunit> dupunits
foreach (DupUnit unit in dupunits)
{
    DataSet ds = new DataSet();
    //DataTable dt = new DataTable();
    //uncompress and extract to original datatable
    try
    {
        using (MemoryStream zipstream = new MemoryStream(unit.compressed))
        {
            GZipStream zip = new GZipStream(zipstream, CompressionMode.Decompress);
            byte[] xmlbits = new byte[unit.complength];
            //WHY ARE YOU ALWAYS 0!!!!!!!!
            int bytesdecompressed = zip.Read(xmlbits, 0, unit.compressed.Length);
            MemoryStream xmlstream = new MemoryStream(xmlbits);
            log.DebugFormat("Uncompressed XML against {0} is: {1}", m_source.DSN, Encoding.GetEncoding(1252).GetString(xmlstream.ToArray()));
            try{
               ds.ReadXml(xmlstream);
            }catch(Exception)
            {
                //it may have been base64 encoded...  decode first.
               ds.ReadXml(Encoding.GetEncoding(1254).GetString(
                 Convert.FromBase64String(
                 Encoding.GetEncoding(1254).GetString(xmlstream.ToArray())))
                 );
            }
            xmlstream.Dispose();
        }
    }
    catch (Exception e)
    {
        log.Error(e);
        Thread.Sleep(1000);//sleep a sec!
        continue;
    }

注意上面的评论... bytesdecompressed总是0.任何想法？我做错了吗？

编辑2：

所以这很奇怪。我将以下调试代码添加到解压缩例程中：

   GZipStream zip = new GZipStream(zipstream, CompressionMode.Decompress);
   byte[] xmlbits = new byte[unit.complength];
   int offset = 0;
   while (zip.CanRead && offset < xmlbits.Length)
   {
       while (zip.Read(xmlbits, offset, 1) == 0) ;
       offset++;
   }

调试时，有时候循环会完成，但有时它会挂起。当我停止调试时，它将在1616年的第1600字节。我继续，但它根本不会移动。

编辑3：该错误似乎出现在压缩代码中。无论出于何种原因，它都没有保存所有数据。当我尝试使用第三方gzip机制解压缩数据时，我只获得部分原始数据。

我开始赏金，但到目前为止，我真的没有多少声誉： - （

Answer 1

终于找到了答案。压缩数据没有完成，因为GZipStream.Flush（）绝对没有确保所有数据都在缓冲区之外 - 您需要使用GZipStream.Close（）作为pointed out here。当然，如果你得到一个糟糕的压缩，一切都走下坡路 - 如果你试图解压缩它，你将总是从Read（）返回0。

Answer 2

我说这条线至少是最错误的：

cmd.Parameters.Add("@compressed", SqlDbType.VarBinary).Value = zipstream.GetBuffer();

MemoryStream.GetBuffer：

请注意，缓冲区包含可能未使用的已分配字节。例如，如果字符串＆＃34; test＆＃34;写入MemoryStream对象，从GetBuffer返回的缓冲区长度为256，而不是4，未使用252个字节。要仅获取缓冲区中的数据，请使用ToArray方法。

应该注意的是，在zip格式中，它首先通过查找存储在文件的 end 中的数据来工作 - 因此，如果您存储的数据超过了所需数据，则需要＆＃34;结束＆＃34;文件不存在。

顺便说一句，我还建议为您的compressedlength专栏添加一个不同的名称 - 我最初认为它（尽管您的叙述）是为了存储，以及压缩数据（并写下我的答案的一部分来解决）。也许originalLength会是一个更好的名字？

GZipStream - 即使使用flush也写不写所有压缩数据？

2 个答案: