有没有办法使用BigQuery视图作为数据流的输入？

Question

我知道数据流可以使用BigQuery表（或BigQuery表的SQL样式查询）进行输入，但是可以将保存的视图作为数据流的输入吗？

Answer 1

是的，您可以在数据流中使用bigquery旧视图，但不能使用标准的sql视图，因为它不受支持。

我的建议是你应该使用BigQuery job将bigquery视图转换为bigquery表，然后将其用于数据流。

Answer 2

您可以从Dataflow的Bigquery视图中读取。请尝试以下Python代码：

beam.io.Read(
        beam.io.BigQuerySource(use_standard_sql=True,
                               query='SELECT * FROM `project.dataset.view` limit 1000000'))