使用SCIO将pubsub数据导出到对象存储

Question

我正按照Spotify Reliable export of Cloud Pub/Sub streams to Cloud Storage的这篇帖子或Google Simple backup and replay of streaming events using Cloud Pub/Sub, Cloud Storage, and Cloud Dataflow的这篇帖子中的描述，尝试将Cloud Pub / Sub流导出到Cloud Storage。

PubSub创建了无限的PCollection（或SCIO中的SCollection），但是saveastextfile需要BoundedCollection。

有什么办法可以克服这个问题？

Answer 1

新的dynamic IO模块应支持将无限制的集合保存到文件中。

但是请注意，Spotify文章中的方法不使用Dataflow，因为出于SLA /存储桶/可靠性的原因，它具有许多自定义逻辑。所以YMMV。