我需要使用python脚本通过pubsub批处理/流式传输文件到谷歌云存储。
我使用下面的python文件,能够看到从主题发布到订阅的消息,现在我想将这些单独的消息上传到一个文件中,并且需要加载到云存储中。
您能否建议我们在哪里可以更改以下脚本中的代码,将消息数据作为文件加载到云存储中(批量处理单个消息)
在路径下面我们有python脚本: 蟒-文档样本/发布订阅/云客户端
subscriber.py
publisher.py
其他问题:是否可以通过pubsub流式传输文件并将其加载到云存储中。
谢谢
答案 0 :(得分:1)
AFAIK,将加载文件流式传输到GCS不可用,至少没有内置功能。 Google pubsub to Google cloud storage
使用Dataflow的TextIO.Write可以将Pub / Sub消息写入GCS。但是,也不支持流/无界集合。 Streaming data to Google Cloud Storage from PubSub using Cloud Dataflow