bigquery从json定义创建表给出STORAGE_FORMAT_UNSPECIFIED错误

Question

我想通过克隆现有表的架构来创建表，通过添加一些列对其进行编辑，重命名其他表。

我所做的是：

找到要克隆的表的模式：

bq show --format=json $dataset.$from_table | jq -c .schema

使用一些脚本进行编辑，另存为文件，例如schema.json（此处为简化）：

schema.json

{"fields":[{"mode":"NULLABLE","name":"project_name","type":"STRING"},
{"mode":"NULLABLE","name":"sample_name","type":"STRING"}]}

然后尝试使用以下命令创建新表：

bq mk --table --external_table_definition=schema.json test- 
project1:dataset1.table_v1_2_2

但是我收到此错误：

  

mk操作中的BigQuery错误：不支持的存储格式   外部数据：STORAGE_FORMAT_UNSPECIFIED

我只希望它是我在 系统，我认为是位置“ Google Cloud BigQuery”。

有什么想法吗？

Answer 1

问题是您正在使用external_table_definition标志，例如，仅当您在GCS或云端硬盘上的文件上创建外部表时，该标志才有意义。创建新表的一种简单得多的方法是使用CREATE TABLE ... AS SELECT ...语句。例如，假设我有一个表T1，其中包含列和类型

foo: INT64
bar: STRING
baz: BOOL

我想创建一个重命名bar并更改其类型的新表，并添加一个名为id的列。我可以运行这样的查询：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1

如果您只想克隆和更新架构而不产生任何费用或复制数据，则可以使用LIMIT 0，例如：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1
LIMIT 0

现在，您将拥有一个具有所需模式的新的空表。