如何直接访问AWS S3存储桶作为RStudioServer中的数据集？

Question

我在aws帐户上有多个s3存储桶，我还有一台运行Rstudio Pro的EC2机器。我想访问我的S3桶（每个桶数据为几TB）。

我希望能够将rstudio设置为将数据集作为数据集挂载，而不必每次都将其复制到EBS中。

任何帮助都会很棒。

Answer 1

您似乎可以尝试cloudyr project，https://github.com/cloudyr/aws.s3中的aws.s3包。

有了这个，假设您的数据在私有存储桶上，您可以按如下方式访问它：

aws.s3::getbucket(
bucket = 'hpk',
key = YOUR_AWS_ACCESS_KEY,
secret = YOUR_AWS_SECRET_ACCESS_KEY
)

希望这有助于您从存储桶中访问数据。然后，您还可以尝试aws.ec2与ec2计算机进行通信。

Answer 2

我使用Python进行这些类型的任务包是 boto 。而且看起来没有R的移植版本。

我没有试过这个，但万一你会觉得这很有用......

RS3