如何在分区表和集群表中将数据从Google Cloud Storage传输到Biq查询?

时间:2019-08-14 19:19:36

标签: google-bigquery hierarchical-clustering data-transfer

第一次,我创建了一个带有分区和群集的空表。之后,我想配置数据传输服务以填充Google Cloud Storage中的表格,但是在配置传输时,我没有看到允许选择集群字段的参数字段。

我尝试在没有群集的情况下执行相同的操作,因此我可以轻松地填写表格。

我进行转移时出现大查询错误:

Failed to start job for table matable$20190701 with error INVALID_ARGUMENT: Incompatible table partitioning specification. Destination table exists with partitioning specification interval(type:DAY,field:) clustering(string_field_15), but transfer target partitioning specification is interval(type:DAY,field:). Please retry after updating either the destination table or the transfer partitioning specification.

2 个答案:

答案 0 :(得分:0)

定义表时,请指定分区和群集列。这就是您需要做的一切。

从GCS BigQuery加载数据(从CLI或UI)时,会自动对数据进行分区和集群。

如果您可以提供有关如何创建表格和设置传输的更多详细信息,将有助于提供更详细的说明。

答案 1 :(得分:0)

感谢您的宝贵时间。 当然:

empty table configuration

transfer configuration

我成功传输了没有簇的数据,但是当我在空表中添加簇时,传输失败。