我正在创建所有GCP项目及其BQ日志的组织视图。我的目标是在我们的监视项目中拥有一个视图/表,以便能够分析整个组织中的所有BigQuery作业/查询。
我目前尝试了2种不同的方法:
在组织级别利用"resource.type=bigquery_resource"
上的筛选器来利用汇总的出口接收器。
问题:聚合的接收器仅包含创建接收器时的数据,不包括历史信息。
利用当前处于Beta版的新INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
。
问题:组织级别的信息架构不包括“查询”作为列之一。
Information_schema方法包含我需要的所有数据以及除用户运行的“查询”之外的所有列。
我很好奇是否有人实施了类似的方法,解决方案是什么样的?我需要所有项目的历史查询信息,同时还包括用户运行的特定查询。
有什么想法吗?