Google Storage HEAD 响应缺少内容长度

时间:2021-01-19 15:48:09

标签: http-headers google-cloud-storage http-content-length libcloud http-head

我正在使用一个库 (Apache Libcloud) 向谷歌存储发出请求。 在库内部,向在谷歌存储中查询的 URL 发出 HEAD 请求。 您可以找到它的代码 here,搜索 def get_object。 重要的一行是

response = self.connection.request(object_path, method='HEAD')

根据 Google Documentation of HEAD response objectscontent-length 字段应该是响应的一部分:

Response

...
expires: Wed, 30 May 2018 21:41:23 GMT
date: Wed, 30 May 2018 21:41:23 GMT
cache-control: private, max-age=0
last-modified: Wed, 30 May 2018 20:36:34 GMT
etag: "2218880ef78838266ecd7d4c1b742a0e"
x-goog-generation: 1486161811706000
x-goog-metageneration: 15
x-goog-stored-content-encoding: identity
x-goog-stored-content-length: 328
content-type: image/jpg
x-goog-hash: crc32c=HBrbzQ==
x-goog-hash: md5=OCydg52+pPG1Bwawjsl7DA==
x-goog-storage-class: STANDARD
accept-ranges: bytes
content-length: 328  # <--- here
...

但是,某些文件(但并非所有文件)缺少它。 在这两种情况下,我都收到了 x-goog-stored-content-length 条目,但图书馆需要 content-length

content-length 标头在 def _headers_to_object 中的调用链下游使用了一点,由于缺少标头,我在那里得到了 KeyError:

    def _headers_to_object(self, object_name, container, headers):
        hash = headers['etag'].replace('"', '')
        extra = {'content_type': headers['content-type'],
                 'etag': headers['etag']}
        meta_data = {}

        if 'last-modified' in headers:
            extra['last_modified'] = headers['last-modified']

        for key, value in headers.items():
            if not key.lower().startswith(self.http_vendor_prefix + '-meta-'):
                continue

            key = key.replace(self.http_vendor_prefix + '-meta-', '')
            meta_data[key] = value

        obj = Object(name=object_name, size=headers['content-length'],  # <-- here
                     hash=hash, extra=extra,
                     meta_data=meta_data,
                     container=container,
                     driver=self)
        return obj

问题是: 当我上传文件导致谷歌存储不发送该标头时,我可能对文件做了什么? 或者这是谷歌存储中的错误(我怀疑)?

更多信息:

  • 内容类型为application/json
  • 此文件采用 gzip 编码。
  • 它适用于其他 gzip 编码文件
  • 我使用的是 Apache Libcloud API 3.3.0
  • 我不认为这是 libcloud 中的错误,因为 HEAD 的文档指定了 content-length 标头,但如果我覆盖 _headers_to_object 以使用 x-goog-stored-content-length,它会起作用。
  • 我无法使用我目前可以公开演示的文件来重现这一点

0 个答案:

没有答案