Question

由于我在R上使用Spark，因此我想使用sparklyr包打开gz文件。我知道我可以使用 read.delim2(gzfile("filename.csv.gz"), sep = ",", header = FALSE)打开gz文件，我可以使用spark_read_csv打开csv文件，但是当我尝试在Spark中打开gz文件时，它们都无法正常工作。请帮忙！

Answer 1

默认的Spark阅读器可以透明地加载gzip压缩的数据，而无需任何其他配置，只要文件具有适当的扩展名（指示使用了压缩）即可。

因此，如果您有一个压缩文件（请注意，这样的设置仅在本地模式下有效。在分布式模式下，您需要共享存储），如下所示：

valid_path <- tempfile(fileext=".csv.gz")
valid_conn <- gzfile(valid_path, "w")
readr::write_csv(iris, valid_conn)
close(valid_conn )

spark_read_csv可以正常工作：

spark_read_csv(sc, "valid", valid_path)

# Source: spark<valid> [?? x 5]
   Sepal_Length Sepal_Width Petal_Length Petal_Width Species
          <dbl>       <dbl>        <dbl>       <dbl> <chr>  
 1          5.1         3.5          1.4         0.2 setosa 
 2          4.9         3            1.4         0.2 setosa 
 3          4.7         3.2          1.3         0.2 setosa 
 4          4.6         3.1          1.5         0.2 setosa 
 5          5           3.6          1.4         0.2 setosa 
 6          5.4         3.9          1.7         0.4 setosa 
 7          4.6         3.4          1.4         0.3 setosa 
 8          5           3.4          1.5         0.2 setosa 
 9          4.4         2.9          1.4         0.2 setosa 
10          4.9         3.1          1.5         0.1 setosa

但是这个

invalid_path <- tempfile(fileext=".csv")
invalid_conn <- gzfile(invalid_path, "w")
readr::write_csv(iris, invalid_conn)
close(invalid_conn)

不会，因为Spark会按原样读取数据

spark_read_csv(sc, "invalid", invalid_path)

也请记住，gzip是not splittable，因此对于分布式应用程序来说是一个糟糕的选择。因此，如果文件很大，通常在继续使用Spark之前，请使用标准系统工具将其解压缩。

如何在R中使用sparklyr打开“ GZ FILE”？

1 个答案: