我想通过pubsub批处理文件到谷歌云存储

时间:2018-04-20 08:21:33

标签: google-cloud-pubsub

我需要使用python脚本通过pubsub批处理/流式传输文件到谷歌云存储。

我使用下面的python文件,能够看到从主题发布到订阅的消息,现在我想将这些单独的消息上传到一个文件中,并且需要加载到云存储中。

您能否建议我们在哪里可以更改以下脚本中的代码,将消息数据作为文件加载到云存储中(批量处理单个消息)

在路径下面我们有python脚本: 蟒-文档样本/发布订阅/云客户端

subscriber.py
publisher.py

其他问题:是否可以通过pubsub流式传输文件并将其加载到云存储中。

谢谢

1 个答案:

答案 0 :(得分:1)

AFAIK,将加载文件流式传输到GCS不可用,至少没有内置功能。 Google pubsub to Google cloud storage

使用Dataflow的TextIO.Write可以将Pub / Sub消息写入GCS。但是,也不支持流/无界集合。 Streaming data to Google Cloud Storage from PubSub using Cloud Dataflow