Gzip Byte数组与C#和R

时间:2016-09-26 16:00:14

标签: c# r gzip

我在C#上使用RserveCLI2。我试图将R生成的gzip字节数组传递给C#,以便C#可以解压缩它。但是我无法让它发挥作用。在对字符串“ABCDEF”执行gzip压缩时,我对R和C#生成的字节数组进行了一些比较。结果如下。

    # R gzip compression command and result
    > as.numeric(memCompress(charToRaw("ABCDEF"),"gzip"))
    [1] 120 156 115 116 114 118 113 117   3   0   5 126   1 150

    # C-sharp gzipstream compress result
    byte[] data1 = Encoding.ASCII.GetBytes("ABCDEF");
    var memoryStream = new MemoryStream();
    using (var gz = new GZipStream(memoryStream, CompressionMode.Compress))
    {
        gz.Write(data1, 0, data1.Length);
    }

    memoryStream.ToArray()
  {byte[26]}
  [0]: 31
  [1]: 139
  [2]: 8
  [3]: 0
  [4]: 0
  [5]: 0
  [6]: 0
  [7]: 0
  [8]: 4
  [9]: 0
  [10]: 115
  [11]: 116
  [12]: 114
  [13]: 118
  [14]: 113
  [15]: 117
  [16]: 3
  [17]: 0
  [18]: 105
  [19]: 254
  [20]: 118
  [21]: 187
  [22]: 6
  [23]: 0
  [24]: 0
  [25]: 0

我做了一些研究,gzip字节数组应该从31和139开始(十六进制1F和8B)。在这种情况下,似乎C#字节数组是正确的。所以我想知道为什么R字节数组与C#相比如此不同?有没有办法让R生成类似于C#的字节数组?感谢。

1 个答案:

答案 0 :(得分:3)

这应该为您提供所需的结果。它是现已解散的Rcompression包中的函数的修改版本。我发现内置的mem*函数几乎没用:

library(inline)

gz_compress <- cfunction(
  sig=c(r_content="raw"),
  body="
  int status, numProtects = 0, level = 1, method = Z_DEFLATED, 
      windowBits = 15+16, memLevel = 9, strategy = 0;
  uLongf destLen = 0;
  z_stream strm;  

  strm.zalloc = NULL;
  strm.zfree = NULL;
  strm.opaque = NULL;
  strm.total_out = 0;
  strm.next_in = RAW(r_content);
  strm.avail_in = GET_LENGTH(r_content);

  SEXP r_result = Rf_allocVector(RAWSXP, strm.avail_in * 1.01 + 12);

  status = deflateInit2(&strm, level, method, windowBits, memLevel, strategy);
  if(status != Z_OK) return(r_content);

  destLen = GET_LENGTH(r_result);

  do {
    strm.next_out = RAW(r_result) + strm.total_out;
    strm.avail_out = destLen - strm.total_out;

    status = deflate(&strm, Z_FINISH);
    if (status == Z_STREAM_END) 
      break;
    else if (status == Z_OK) {
      SET_LENGTH(r_result, 2*destLen);
      PROTECT(r_result); numProtects++;
      destLen *= 2;
    } else if (status == Z_MEM_ERROR) {
      return(r_content);
    }
  } while(1);

  SET_LENGTH(r_result, strm.total_out);

  deflateEnd(&strm);

  if (numProtects) UNPROTECT(numProtects);

  return(r_result);
  ",
  includes=c("#include <zlib.h>", "#include <Rdefines.h>", "#include <Rinternals.h>", '#include "R_ext/Memory.h"', '#include "R_ext/Utils.h"'),
  libargs="-lz"
)

你可以看到它产生了更好的结果:

gz_compress(charToRaw("ABCDEF"))
## [1] 1f 8b 08 00 00 00 00 00 04 03 73 74 72 76 71 75 03 00 69 fe 76 bb 06 00 00 00

as.integer(gz_compress(charToRaw("ABCDEF")))
## [1]  31 139   8   0   0   0   0   0   4   3 115 116 114 118 113 117   3   0 105 254 118 187   6   0   0   0

如果有足够的需求,我可以复活并制作Rcompression包的现代版本(我必须为自己和工作项目复活它,但很高兴有一个更公开的版本,比内联C代码更容易使用。)

我将它扔进了一个可以安装的小包装中:

devtools::install_github("hrbrmstr/gzmem")

现在,您所要做的就是:

library(gzmem)

mem_compress(charToRaw("ABCDEF"))
## [1] 1f 8b 08 00 00 00 00 00 04 03 73 74 72 76 71 75 03 00 69 fe 76 bb 06 00 00 00

rawToChar(mem_inflate(mem_compress(charToRaw("ABCDEF")), 32))
## [1] 41 42 43 44 45 46

本周晚些时候会有更好的mem_inflate()版本。