您好我无法使用google-cloud-storage~ = 1.6.0客户端将2GB的'大'文件上传到google存储格式kubernetes。
client = storage.Client()
self.bucket = client.get_bucket('test-bucket')
blob = self.bucket.blob(remote_file)
blob.upload_from_filename(local_file)
我给了pod很多内存(4GB +),认为它可以解决它,但是主人以任何方式杀死它(OOMKilled),我想我在上传过程中缺少一些配置。
答案 0 :(得分:3)
upload_from_filename
的默认行为是将整个文件读入内存,以便尝试一次上传所有文件。在调用blob.chunk_size
之前避免设置blob.upload_from_filename
。合理的值可能是1MiB(1024 * 1024)。
我怀疑这可能是一个新问题introduced by this commit。