无法将大文件上传到Google云端存储

Question

处理小文件时没关系。仅当我尝试上传大文件时它才起作用。我正在使用Python客户端。摘录如下：

filename='my_csv.csv'
storage_client = storage.Client()
bucket_name = os.environ["GOOGLE_STORAGE_BUCKET"]
bucket = storage_client.get_bucket(bucket_name)
blob = bucket.blob("{}".format(filename))
blob.upload_from_filename(filename)  # file size is 500 MB

我作为回溯获得的唯一一件事是＆＃34; Killed＆＃34;我离开了python翻译。

任何建议都非常适合

修改 它可以从本地机器正常工作。我的应用程序在Google Container Engine中运行，因此在芹菜任务中运行时会出现问题。

Answer 1

尝试以块的形式上传文件。您可以找到样本here。 （搜索request.next_chunk()）

Answer 2

upload_by_filename尝试在单个请求中上传整个文件。

您可以使用Blob.chunk_size将上传内容分散到许多请求中，每个请求都负责上传文件的一个“块”。

例如：

my_blob.chunk_size = 1024 * 1024 * 10