无法从python存储谷歌客户端上传1GB +文件

Question

您好我无法使用google-cloud-storage~ = 1.6.0客户端将2GB的'大'文件上传到google存储格式kubernetes。

    client = storage.Client()
    self.bucket = client.get_bucket('test-bucket')
    blob = self.bucket.blob(remote_file)
    blob.upload_from_filename(local_file)

我给了pod很多内存（4GB +），认为它可以解决它，但是主人以任何方式杀死它（OOMKilled），我想我在上传过程中缺少一些配置。

Answer 1

upload_from_filename的默认行为是将整个文件读入内存，以便尝试一次上传所有文件。在调用blob.chunk_size之前避免设置blob.upload_from_filename。合理的值可能是1MiB（1024 * 1024）。

我怀疑这可能是一个新问题introduced by this commit。