云功能可从2个存储桶中加入文件

时间:2018-10-18 19:11:11

标签: python-3.x google-cloud-platform google-cloud-functions

我是GCP的新手,正在使用云功能来解压缩文件并与另一个存储桶中的几个文件合并。我不确定我们是否可以触发数据流,因为该文件每小时发送一次。

输入桶:test.csv.gz 暂存区:test1.csv                 test2.csv

目前,我正在尝试解压缩文件并将其复制到临时存储区。 解压缩和暂存文件的代码:

from google.cloud import storage
import gzip
import shutil
client = storage.Client()
input_bucket = client.get_bucket('INPUT-BUCKET-NAME')
staging_bucket = client.get_bucket('STAGING-BUCKET-NAME')

def unzip_main(data, context):
    with storage.open(''data['name']'', 'r') as f:
      with storage.open('/' + STAGING_BUCKET_NAME + '/' + id, 'w', content_type='text/plain') as fw:
    content = gzip.GzipFile(fileobj=f).read()
    shutil.copyfileobj(content, f_out)
    f.close()

我在部署时遇到编译错误,有人可以改正我的方法并通过一些指针帮助我加入他们

感谢您的帮助。

0 个答案:

没有答案