Question

我正在AWS Lambda上使用Boto3处理数据流，并将内容发布到s3中的文件中以进行下游处理。在这种情况下，数据可以是简单的原始json。

我想使用zlib将压缩的gzip数据存储到S3。从理论上讲，这很简单。但是，当我使用以下命令上载gzip文件时，我的本地计算机说该文件不是gzip格式。

有人可以帮忙解释一下发生了什么吗？这应该是微不足道的。值得一提的是，当我阅读其他程序生成的压缩文件时，zlib.decompress要求使用, 16+zlib.MAX_WBITS作为wbits参数，以便正确读取压缩的字符串。也许我需要等效的zlib.compress？

import json
import zlib
import boto3
s3 = boto3.resource('s3')

def lambda_handler(event, context):
    ## Sample dataset
   data = [{"var":1, "foo": "bar"}, {"var":2, "foo":"baz"}]
   payload = '\n'.join([json.dumps(r) for r in data]).encode('utf-8')

    ## Upload
    output = s3.Object("bucket", "file")
    output.put(Body=zlib.compress(payload))

    ## Download and verify
    obj = s3.Object("bucket", "file")

    ## Load the Streaming object body, decompress, decode
    # , 16+zlib.MAX_WBITS
    decompressed = zlib.decompress(obj.get()['Body'].read(), 16+zlib.MAX_WBITS).decode('utf-8').split("\n")
    print(f"Decompressed payload: {payload}")
    data2 = [json.loads(r) for r in decompressed]

    return {
        "statusCode": 200,
        "TestVerification?": data2==data,
        "body": json.dumps('Demo')
    }

稍后，在本地下载文件

zcat testcompressed.gz

gzip: testcompressed.gz: not in gzip format

Answer 1

是的，您需要等价zlib.compress。但是，没有一个。相反，您需要使用具有zlib.compressobj参数的wbits。

在AWS Lambda Boto3中编写Gzip文件

1 个答案: