Spark：在将字节保存到序列文件之前，我可以压缩字节吗？

Question

目前，我正在使用

map(m => (NullWritable.get() -> new  BytesWritable(m.toByteArray))).saveAsSequenceFile(path, Some(classOf[SnappyCodec]))

1）我想获得每个压缩byteArray的大小，先写入大小，然后编写压缩事件。

在保存之前是否可以压缩byteArray的每个块？

Answer 1

您可以尝试以下

/.auth/login