从数据流中查询BigQuery的INFORMATION_SCHEMA.TABLES会导致错误

Question

我正在尝试在INFORMATION_SCHEMA上运行查询，以从数据流中检索有关bigquery表的元数据。在下面找到代码和错误。在BQ用户界面中，相同的查询工作正常

query=SELECT * EXCEPT(is_typed) FROM `dummy_dataset.INFORMATION_SCHEMA.TABLES`"

p1=p | "create1" >> beam.io.Read(beam.io.BigQuerySource(query=query, use_standard_sql=True))

"errors": [
      {
        "message": "Illegal operation on INFORMATION_SCHEMA view: dummy_dataset.INFORMATION_SCHEMA.TABLES",
        "domain": "global",
        "reason": "invalid"
      }
    ]

Answer 1

我可以使用运行器DataflowRunner从数据集中的INFORMATION_SCHEMA.TABLES视图中进行读取，但是使用DirectRunner时，我得到了与您相同的错误消息。因此，就像Elliott所提到的那样，您可以为BigQuery团队以及Dataflow team提交错误。同时，您可以尝试使用DataflowRunner从该视图中读取。

希望有帮助。