在RStudio EC2实例中从S3读取大型JSON文件(Louis Aslett的AMI)

时间:2017-11-15 13:41:21

标签: amazon-web-services amazon-s3 amazon-ec2 ami

我正在处理与此问题类似的问题here

我在AWS S3上有一个很大的JSON文件,我试图通过RStudio(来自Louis Aslett的AMI的EC2实例)访问它。 我甚至尝试过使用30GB内存从t2移动到r4.xlarge但无济于事: 我收到错误:

  

writeBin中的错误(httr :: content(r,as =“raw”),con = file):long   尚不支持的载体:connections.c:4147

如果我使用免费套餐实例,那么它会给我错误:

  

curl :: curl_fetch_memory(url,handle = handle)出错:失败   写体(0!= 16360)

我在参考文献中提到的问题似乎找到了一种方法,尽管我无法完全遵循它。有人可以解释一下,当他们说目录需要不是“家”时。你是如何实现它的?因为在路易斯AMI没有这样做的许可。 问题可能是非常基本的,但我在这里失去了智慧。

干杯! 一个

1 个答案:

答案 0 :(得分:0)

“有人说目录需要不是“ home”时,可以请解释一下。您如何实现它?因为在Louis AMI中没有这样做的权限。这个问题可能是非常基本的但我在这里变得不知所措。”

我在这里对您表示同情,因为它与来自Windows IMHO的新Linux用户背道而驰,具有讽刺意味的是,我已经看到两个问题已回答这个问题,因为它们对于本高级论坛来说太基础了。但是您并不孤单,通过读取具有相同AMI的数据的相同错误消息的个人经验,这听起来像是一个相同的问题。

如果您上传到实例上的其他驱动器,则很可能可以解决此问题。由于Louis Aslett Rstudio AMI基于8-10GB的空间,因此您必须在该目录(主目录)之外设置工作目录。从Rstudio服务器界面上看不出来直观。

我建议您看一下其他目录(例如,在Rstudio中的RHS中的Rstudio目录选择框中,或者在Linux命令行中的df命令中,将目录升到比原目录高几层)。然后将setwd()放在另一个目录(例如xda或具有足够空间的任何目录)中,然后尝试再次读入。