如何为BigQuery外部表建模以更改列结构?

时间:2019-06-14 09:30:07

标签: mysql database google-cloud-platform google-bigquery etl

我在源表(MySQL)中有5列,分别为c1,c2,c3,c4,c5。我导出了表格,并在GCS中添加了gs://data/table_name/YYYYMMDD/table_nameYYYYMMDDHHMMSS.csv

我导出了3个月的数据。

在以后的阶段中,添加了两个新列,分别为c6和c7。现在,在gs:// data / table_name中导出的文件将具有7列

并且有可能同时删除c4列。因此,导出的文件将有6列,即c1,c2,c3,c5,c6,c7

如何对外部表进行建模以适应这些变化?

1 个答案:

答案 0 :(得分:0)

您要更改表架构吗?

尝试bq update命令。

请参见https://cloud.google.com/bigquery/docs/managing-table-schemas

喜欢这个。

$ bq show --schema --format=prettyjson projectId:Dataset.Table > schema.json

$ vim schema.json
---> Modify schema setting

$ bq update projectId:Dataset.Table schema.json