Question

嘿，我正在尝试从 s3 存储桶读取 gzip 文件，这是我的尝试：

s3client = boto3.client(
    's3',
    region_name='us-east-1'
)

bucketname = 'wind-obj'
file_to_read = '20190101_0000.gz'

fileobj = s3client.get_object(
    Bucket=bucketname,
    Key=file_to_read
    )

filedata = fileobj['Body'].read()

现在打开 gzip 文件，我正在这样做：

gzip.open(filedata,'rb')

但它抛出了我的错误：

ValueError: embedded null byte

所以我想先解码：

contents = filedata.decode('utf-8')

这是抛出另一个错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

我尝试使用 ISO-8859-1 对其进行解码，然后它正在解码，但在打开 gzip 文件时再次出现相同的错误。

或者有没有其他方法可以从 S3 中提取数据，例如使用 URL 或其他方式？

Answer 1

gzip.open 需要一个文件名或一个已经打开的文件对象，但您直接将下载的数据传递给它。尝试改用 gzip.decompress：

filedata = fileobj['Body'].read()
uncompressed = gzip.decompress(filedata)

从 s3 存储桶读取 gzip 文件

1 个答案: