使用R从s3读/写镶木地板文件

Question

我想使用R从我的s3存储桶中获取镶木地板文件。在我的服务器Spark中未安装。

如何在没有火花的R中读写镶木地板文件？我能够使用不同的格式从s3读取和写入数据，但不能使用镶木地板格式。

我的代码如下 -

从s3

读取csv文件

library(aws.s3)
obj <-get_object("s3://mn-dl.sandbox/Internal Data/test.csv")  
csvcharobj <- rawToChar(obj)  
con <- textConnection(csvcharobj)  
data <- read.csv(file = con)
data1 <-data

#Write csv data directly to s3
s3write_using(data1, FUN = write.csv,
                    bucket = "mn-dl.sandbox",
                    object = "Internal Data/abc.csv")

提前致谢

Answer 1

绝对是使用 R 和 AWS 的新手，所以希望这是一个通用的解决方案，而不仅仅是对我有用的解决方案，但这就是我所做的。

install.packages("paws")
install.packages("arrow")

library(paws)
library(arrow)

s3 <- paws::s3(config=list(<your configurations here to give access to s3>))
object <- s3$get_object(Bucket = "path_to_bucket", Key = "file_name.parquet")
data <- object$Body
read_parquet(data)