如何安排从第三方API将数据提取到Google Cloud Storage中？

Question

我正在运行Google Cloud Function，该API发出API请求，并将响应作为JSON文件上传到云存储。我遇到了一个较大的请求问题，因为Google Cloud Functions在540秒后超时。这导致我的批处理API请求返回错误。

安排从第三部分API到Google云存储的大型数据传输的最佳方法是什么？

Answer 1

您可以使用Storage Transfer Service。可以对其进行调度，并将其作为源Amazon S3存储桶，一个HTTP / HTTPS位置或另一个Cloud Storage存储桶。