如何从Google云端存储中读取大文件（~300 MB）？

Question

我可以从Google Cloud Storage

轻松upload/write或Read个文件内容（~80KB）

现在，我必须在提供大文件（~200MB-300MB）时执行更大的任务：

1）需要将上传文件的内容读入块（~10 KB）。

       <--Want to modify chunked data programmatically-->

2）重复＆＃34; 1＆＃34;步骤直到流读取文件的整个内容（从开始到结束顺序）。

我尝试了this程序，但作为回应我只有一些数据。如何执行上述任务？

Answer 1

您不应该使用文件API（不推荐使用 - 请参阅您提到的页面顶部的注释）。而是使用GCS客户端（在弃用通知中提到）。 GCS客户端允许您连续读取，您可以序列化请求之间的GcsInputChannel状态，直到读取完成（如果读取超过请求超时）。您还应该考虑使用mapreduce库并使用GoogleCloudStorageLineInput来读取文件并在映射器中编写修改过的文件（在您的情况下可能只是映射）。