无法从python存储谷歌客户端上传1GB +文件

时间:2017-11-05 20:12:20

标签: python kubernetes google-cloud-platform google-cloud-storage

您好我无法使用google-cloud-storage~ = 1.6.0客户端将2GB的'大'文件上传到google存储格式kubernetes。

    client = storage.Client()
    self.bucket = client.get_bucket('test-bucket')
    blob = self.bucket.blob(remote_file)
    blob.upload_from_filename(local_file)

我给了pod很多内存(4GB +),认为它可以解决它,但是主人以任何方式杀死它(OOMKilled),我想我在上传过程中缺少一些配置。

1 个答案:

答案 0 :(得分:3)

upload_from_filename的默认行为是将整个文件读入内存,以便尝试一次上传所有文件。在调用blob.chunk_size之前避免设置blob.upload_from_filename。合理的值可能是1MiB(1024 * 1024)。

我怀疑这可能是一个新问题introduced by this commit