有没有一种方法可以获取数据集列表以及Big Query中的表和视图？

Question

我的数据集列表很长，每个数据集中有很多表和视图。我想要所有数据集的名称列表，每个数据集中包含的表和视图。我还想知道每个表或视图的名称是表还是视图？

最好以数据框/ csv的形式获取结果，然后将其放回Big Query中。

得到这样的东西：

数据集名称|表名称/视图名称|表格或视图

足球| german_team |表格

足球| british_team |查看

可以通过什么方式实现？

Answer 1

由于您使用的是python查询BigQuery，因此可以分两个步骤实现目标：

1. 查询information_schema以列出所有数据集（documentation）

SELECT
 schema_name
FROM
 INFORMATION_SCHEMA.SCHEMATA

1. 对于每个数据集，进行如下形式的查询（documentation）：

SELECT
 table_schema AS dataset_name,
 table_name,
 table_type   -- "view" or "table"
FROM
 <dataset_name>.INFORMATION_SCHEMA.TABLES