源代码控制与GitHub的BigQuery数据集

时间:2017-02-27 15:15:19

标签: git google-bigquery

是否有一种优雅的方式来控制数据集' BigQuery和GitHub之间的表/视图定义(可能类似于Visual Studios - >数据库项目),以确保跨多个开发人员的一致性和可跟踪性?

我可以看到我们如何手动制作视图脚本并将它们添加到repo中,但我理想的是要避免手动维护这些文件的开销与BigQuery的不可避免的断开连接。

BigQuery本身是否提供支持的任何功能;

  1. 从现有BigQuery环境生成脚本以提取表/视图定义
  2. 将这些脚本存储在可与BigQuery保持同步的数据库项目中
  3. 自动发布数据集/表/视图定义脚本以创建新环境
  4. 比较BigQuerys数据集定义与源控制(GitHub)模型以识别元数据差异

1 个答案:

答案 0 :(得分:1)

BigQuery因为它是一个托管服务,所以它提供端点,允许项目所有者构建自己的Ops。

它不是服务器,它是仓库服务,它本身并不提供所有这些自动化。

您应该始终保持一个活动的repo,其中包含备份的所有信息,因此在最终断开连接或需要重建时,您应该拥有所有自动化来创建数据并重播任何事件。这对任何托管服务都至关重要。