Question

我的s3存储段网址低于

s3_filename是s3://xx/xx/y/z/ion.csv

如果它是存储桶，我可以阅读以下代码

def read_s3(bucket, key):
        s3 = boto3.client('s3')
        obj = s3.get_object(Bucket=bucket, Key=key)
        df = pd.read_csv(obj['Body'])
        return df

Answer 1

由于您似乎正在使用熊猫，因此请注意，它实际上使用了封面下的s3fs。因此，如果您的安装相对较新且标准，则可以直接执行以下操作：

df = pd.read_csv(s3_path)

如果您的存储桶有一些特定的配置，例如特殊凭证，KMS加密等，则可以使用显式配置的s3fs文件系统，例如：

fs = s3fs.S3FileSystem(
    key=my_aws_access_key_id,
    secret=my_aws_secret_access_key,
    s3_additional_kwargs={
            'ServerSideEncryption': 'aws:kms',
            'SSEKMSKeyId': my_kms_key,
    },
)
# note: KMS encryption only used when writing; when reading, it is automatic if you have access

with fs.open(s3_path, 'r') as f:
    df = pd.read_csv(f)

# here we write the same df at a different location, making sure
# it is using my_kms_key:
with fs.open(out_s3_path, 'w') as f:
    df.to_csv(f)

也就是说，如果您真的很想处理对象，而问题仅在于如何删除潜在的s3://前缀然后拆分bucket/key，则可以使用：

bucket, key = re.sub(r'^s3://', '', s3_path).split('/', 1)

但这可能会错过由awscli或上面引用的s3fs等系统处理的更一般的情况和约定。

要获得更广泛的了解，您可以在awscli中了解他们的操作方式。通常，这样做通常可以很好地表明是否已经在boto3或botocore中内置了某些功能。但是，在这种情况下，它似乎没有（查看本地发行版本1.18.126）。他们只是从第一条原则开始：awscli.customizations.s3.utils.split_s3_bucket_key的实现here。

从该代码中最终使用的正则表达式中，您可以推断出awscli允许s3_path的情况确实多种多样：

_S3_ACCESSPOINT_TO_BUCKET_KEY_REGEX = re.compile(
    r'^(?P<bucket>arn:(aws).*:s3:[a-z\-0-9]+:[0-9]{12}:accesspoint[:/][^/]+)/?'
    r'(?P<key>.*)$'
)

如何从S3存储桶中读取内容作为URL

1 个答案: