如何在Spark中提取bz2文件

时间:2018-10-25 04:04:59

标签: scala apache-spark compression

我有一个以bz2格式压缩的csv文件,例如unix / linux,我们是否有任何一行命令可以将spark.scala中的file.csv.bz2文件解压缩/解压缩到file.csv?

1 个答案:

答案 0 :(得分:1)

您可以使用SparkContext(sc)中的内置函数,这对我有用

sc.textFile("file.csv.bz2").saveAsTextFile("file.csv")