在同一管道中写入后从BigQuery读取

时间:2018-11-27 14:19:07

标签: python google-bigquery google-cloud-dataflow apache-beam

我想要

  • 写入BigQuery,然后从BigQuery中读取同一表以了解是否有任何更新

其他类似问题:

  • 在此multi-field中,用户想要一个接一个地运行两个单独的管道,我想如果其中一个是流管道是不可能的,不是吗?

    < / li>
  • 在另一个question中,答案是在不同的管道中运行它,但是我有同样的问题。在他们当时回答的答案中,这还不存在,目前还存在吗?


关于我的管道的数据

  • 流管道

  • 我要重写的代码:

    x^ := x^ + y^;
    
  • 此代码的输出:

    | 'Write to  BQ' >> WriteToBigQuery('table',SCHEMA)
    | 'Read from BQ' >> beam.io.Read(beam.io.BigQuerySource('table')))
    

哪种方法是最好的选择?

0 个答案:

没有答案