Question

我正在使用Gzip在加密前压缩数据。

Gzip gz;
gz.Put(file,size)
gz.MessageEnd();
gz.Get(file,gz.MaxRetrievable());

我希望创建的gzip文件包含原始文件名作为元数据。我如何通过Crypto ++界面执行此操作？

Answer 1

我希望创建的gzip文件包含原始文件名作为元数据。我如何通过Crypto ++界面执行此操作？

你不能开箱即用。它似乎是Crypto ++的限制。（但见下文）。

从RFC 1952开始，显然有一个字段：

  (if FLG.FNAME set)

     +=========================================+
     |...original file name, zero-terminated...| (more-->)
     +=========================================+

但是Crypto ++不允许你设置它（来自gzip.c source code）：

void Gzip::WritePrestreamHeader()
{
    m_totalLen = 0;
    m_crc.Restart();

    AttachedTransformation()->Put(MAGIC1);
    AttachedTransformation()->Put(MAGIC2);
    AttachedTransformation()->Put(DEFLATED);
    AttachedTransformation()->Put(0);       // general flag
    AttachedTransformation()->PutWord32(0); // time stamp
    byte extra = (GetDeflateLevel() == 1) ? FAST : ((GetDeflateLevel() == 9) ? SLOW : 0);
    AttachedTransformation()->Put(extra);
    AttachedTransformation()->Put(GZIP_OS_CODE);
}

如果Crypto ++解压缩（Gunzip是GZIP解压缩程序）（来自gzip.c source code），它会以静默方式丢弃它：

void Gunzip::ProcessPrestreamHeader()
{
    ...

    if (flags & EXTRA_FIELDS)   // skip extra fields
    {
        word16 length;
        if (m_inQueue.GetWord16(length, LITTLE_ENDIAN_ORDER) != 2) throw HeaderErr();
        if (m_inQueue.Skip(length)!=length) throw HeaderErr();
    }

    if (flags & FILENAME)   // skip filename
        do
            if(!m_inQueue.Get(b)) throw HeaderErr();
        while (b);

    if (flags & COMMENTS)   // skip comments
        do
            if(!m_inQueue.Get(b)) throw HeaderErr();
        while (b);
}

你是我记得约15年来第一个要求它的人，所以它不是一个受欢迎的要求:)

以下是如何修改源以添加文件时间，文件名和注释。您可以在Gzip和Gunzip的Crypto ++ wiki页面上找到该补丁。您可以在Diff for Crypto++ gzip for filename and comment processing的Pastebin上找到SVN差异。 fles大致相同，但wiki更新，因为它在Gzip::WritePoststreamTail中有一些重置代码。

首先，将以下受保护成员添加到Gzip和Gunzip类：

word32 m_filetime;
std::string m_filename;
std::string m_comment;

其次，为每个构造函数（m_filetime和Gzip）添加Gunzip的初始值设定项。例如，这里是一个Gzip ctors：

Gzip(const NameValuePairs &parameters, BufferedTransformation *attachment=NULL)
    : Deflator(parameters, attachment), m_filetime(0) {}

第三，将公共制定者添加到Gzip类：

void SetFiletime(word32 filetime) { m_filetime = filetime; }
void SetFilename(const std::string& filename) { m_filename = filename; }
void SetComment(const std::string& comment) { m_comment = comment; }

第四，将公共getter添加到Gunzip类：

word32 GetFiletime() const { return m_filetime; }
const std::string& GetFilename() const { return m_filename; }
const std::string& GetComment() const { return m_comment; }

第五步，将Gzip::WritePrestreamHeader更改为cpp文件中的以下内容：

void Gzip::WritePrestreamHeader()
{
    m_totalLen = 0;
    m_crc.Restart();

    int flags = 0;
    if(!m_filename.empty())
        flags |= FILENAME;
    if(!m_comment.empty())
        flags |= COMMENTS;

    AttachedTransformation()->Put(MAGIC1);
    AttachedTransformation()->Put(MAGIC2);
    AttachedTransformation()->Put(DEFLATED);
    AttachedTransformation()->Put((byte)flags);    // general flag
    AttachedTransformation()->PutWord32(m_filetime, LITTLE_ENDIAN_ORDER);    // time stamp

    byte extra = (GetDeflateLevel() == 1) ? FAST : ((GetDeflateLevel() == 9) ? SLOW : 0);
    AttachedTransformation()->Put(extra);        
    AttachedTransformation()->Put(GZIP_OS_CODE);

    if(!m_filename.empty())
        AttachedTransformation()->Put((const unsigned char*)m_filename.data(), m_filename.size() +1);

    if(!m_comment.empty())
        AttachedTransformation()->Put((const unsigned char*)m_comment.data(), m_comment.size() +1);
}

第六，将Gzip::WritePoststreamTail更改为cpp文件中的以下内容：

void Gzip::WritePoststreamTail()
{
    SecByteBlock crc(4);
    m_crc.Final(crc);
    AttachedTransformation()->Put(crc, 4);
    AttachedTransformation()->PutWord32(m_totalLen, LITTLE_ENDIAN_ORDER);

    m_filetime = 0;

    m_filename.erase(0);
    m_filename.reserve(16);

    m_comment.erase(0);
    m_comment.reserve(32);
}

第七，将Gunzip::ProcessPrestreamHeader更改为cpp文件中的以下内容：

void Gunzip::ProcessPrestreamHeader()
{
    m_length = 0;
    m_crc.Restart();

    m_filetime = 0;

    m_filename.erase(0);
    m_filename.reserve(16);

    m_comment.erase(0);
    m_comment.reserve(32);

    byte buf[6];
    byte b, flags;

    if (m_inQueue.Get(buf, 2)!=2) throw HeaderErr();
    if (buf[0] != MAGIC1 || buf[1] != MAGIC2) throw HeaderErr();
    if (!m_inQueue.Get(b) || (b != DEFLATED)) throw HeaderErr();     // skip CM flag
    if (!m_inQueue.Get(flags)) throw HeaderErr();
    if (flags & (ENCRYPTED | CONTINUED)) throw HeaderErr();
    if (m_inQueue.GetWord32(m_filetime, LITTLE_ENDIAN_ORDER) != 4) throw HeaderErr();
    if (m_inQueue.Skip(2)!=2) throw HeaderErr();    // Skip extra flags and OS type

    if (flags & EXTRA_FIELDS)   // skip extra fields
    {
        word16 length;
        if (m_inQueue.GetWord16(length, LITTLE_ENDIAN_ORDER) != 2) throw HeaderErr();
        if (m_inQueue.Skip(length)!=length) throw HeaderErr();
    }

    if (flags & FILENAME)   // extract filename
    {
        do
        {
            if(!m_inQueue.Get(b)) throw HeaderErr();
            if(b) m_filename.append( 1, (char)b );
        }
        while (b);
    }

    if (flags & COMMENTS)   // extract comments
    {
        do
        {
            if(!m_inQueue.Get(b)) throw HeaderErr();
            if(b) m_comment.append( 1, (char)b );
        }
        while (b);
    }
}

以下是如何使用它：

try {

    Gzip zipper(new FileSink("gzip-test.gz", true));
    zipper.SetFilename("test-filename.txt");
    zipper.SetComment("This is a test of filenames and comments");

    string data = "abcdefghijklmnopqrstuvwxyz";
    zipper.Put( (unsigned char*) data.c_str(), data.size());
    zipper.MessageEnd();        
}
catch(CryptoPP::Exception& ex)
{
    cerr << ex.what() << endl;
}

压缩文件名为gzip-test.gz。标头中的原始文件名字段为test-filename.txt，标头中的评论为This is a test of filenames and comments。

您可以使用十六进制编辑器查看它的实际效果：

enter image description here

以下是在Mac OS X上使用gzip -d和默认存档提取器进行实际操作的方法：嵌入的文件名被忽略，文件使用存档文件名少于gz扩展名保存：

enter image description here

我不知道这是否是预期的行为，因为文件名成员与在不支持它们的文件系统上保留长文件名有关。

关于超级用户的行为有一个未解决的问题：Is Gzip supposed to honor original filename for decompress?。

编辑：感谢Simon在超级用户身上，必须使用gunzip -N <gz-file>使用隐藏在标题中的原始文件名进行提取。

为了完整起见，这是将存档写入内存中的字符串而不是磁盘文件时的往返行程。

string s1, s2;
string data = "abcdefghijklmnopqrstuvwxyz";

Gzip zipper(new StringSink(s1));
zipper.SetFilename("test-filename.txt");
zipper.SetComment("This is a test of filenames and comments");

zipper.Put( (unsigned char*) data.c_str(), data.size());
zipper.MessageEnd();

Gunzip unzipper(new StringSink(s2));
unzipper.Put( (unsigned char*) s1.data(), s1.size());
unzipper.MessageEnd();

cout << "Filename: " << unzipper.GetFilename() << endl;
cout << "Comment: " << unzipper.GetComment() << endl;
cout << "Data: " << s2 << endl;

它产生了预期的结果。

上面的修改有一个重要的警告。当存档包含单个文件时，mod可以很好地工作。但如果流包含多个文件，则仅为最后一个文件流提供文件时间，文件名和注释。如果它们在最后一个文件流中丢失，那么它们在getter中将为空。

限制的原因与Crypto ++管道的架构方式有关。在Crypto ++中，每个流都被视为一条消息。您可以调用NextMessage()并返回流中的字节。但是流是一个解压缩字节的集合，而不是可以容纳额外字段的更高级别的结构。

我很确定它的修复是非常重要的。我相信这意味着Gzip压缩器和Gunzip解压缩器将需要添加通道，以便您可以检索其他数据，例如检索密文（DEFAULT_CHANNEL）或身份验证标记的方式（AAD_CHANNEL）来自经过身份验证的加密过滤器。

如果使用Gzip类压缩，如何添加文件名到存档？

1 个答案: