你能选择boto3 s3协议吗?

时间:2016-06-13 20:29:07

标签: hadoop amazon-web-services amazon-s3 boto3

显然,正常的s3uri协议几乎全部弃用。这是boto3使用的吗?我们可以选择s3n或s3a作为新的首选方法吗?

来自AmazonS3 wiki

  

S3支持的基于块的文件系统。文件存储为块,就像它们在HDFS中一样。这允许有效地实现重命名。此文件系统要求您为文件系统专用存储桶 - 不应使用包含文件的现有存储桶,也不应将其他文件写入同一存储桶。此文件系统存储的文件可能大于5GB,但它们不能与其他S3工具互操作。没有人/应该通过这个方案将数据上传到S3;它最终将完全从Hadoop中删除。考虑一下(截至2016年5月),已弃用。

1 个答案:

答案 0 :(得分:1)

作为后端,boto3使用AWS S3 Rest API: http://docs.aws.amazon.com/AmazonS3/latest/API/Welcome.html

这是目前唯一可用的选项。

如果您不喜欢boto3的工作方式,请考虑制作您自己的请求。