解压缩存储在Azure ADLS Gen2中的.Z文件

时间:2020-06-05 03:31:59

标签: scala azure compression

我在Azure ADLS Gen2中存储了一个 .Z 文件。我想在ADLS中解压缩文件,我尝试使用ADF和C#解压缩,但是发现不支持 .Z 。我也尝试使用Apache Common Compress Lib进行解压缩,但无法在InputStream中读取文件。

任何人都可以知道如何使用Scala中的Apache lib解压缩文件。

1 个答案:

答案 0 :(得分:0)

.Z文件是.gzip文件,因此您可以尝试这种方法

import java.io.{BufferedReader, File, FileInputStream, InputStreamReader}
import java.util.zip.GZIPInputStream
object UnzipFiles {

  def decompressGzipOrZFiles(file: File, encode: String): BufferedReader = {
    val fis = new FileInputStream(file)
    val gzis = new GZIPInputStream(fis)
    val isr = new InputStreamReader(gzis, encode)
    new BufferedReader(isr)
  }

  def main(args: Array[String]): Unit = {
    val path = new File("/home/cloudera/files/my_file.Z")
    // print to the console
    decompressGzipOrZFiles(path,"UTF-8").lines().toArray.foreach(println)
  }
}

或者您也可以遵循此

    def uncompressGzip(myFileDotZorGzip: String): Unit = {
      import java.io.FileInputStream
      import java.util.zip.GZIPInputStream
      try {
        val gzipInputStream = new GZIPInputStream(new FileInputStream(myFileDotZorGzip))
        try {
          val tam = 128
          val buffer = new Array[Byte](tam)
          do {
            gzipInputStream.read(buffer)
            gzipInputStream.skip(tam)
            //do something with data
            print(buffer.foreach(b => print(b.toChar)))
          } while(gzipInputStream.read() != -1)
        } finally {
          if (gzipInputStream != null) gzipInputStream.close()
        }
      }
    }

我希望这会有所帮助。