标签： google-cloud-platform google-bigquery apache-beam
我们有一个需要BigQuery的场景。稍后在管道中阅读（不在PBegin）。有办法实现吗？
我们正在尝试执行以下步骤：将pcollection加载到bigquery表中，然后在加载后从该表中获取数据（带有一些过滤器）以进行下一步。我们可以在每个管道的开头具有bigqueryio.read的多个管道中执行此操作。但是，如果我们可以将批处理控制放在单个数据流管道中（最初加载整个bigquery表并完全消除pcollection的开销很大），对于批处理控制来说会更容易