通过命令行bq实用程序在BigQuery中复制日期分片表的有效方法？

Question

有没有办法通过bq实用程序将日期分片表复制到另一个数据集？

我目前的解决方案是生成一个bash脚本，逐个复制每一天并拆分工作，但更高效的是并行执行所有操作：

#!/bin/sh
bq cp old_dataset.table_20140101 new_dataset_20140101
..
bq cp old_dataset.table_20171001 new_dataset_20171001

Answer 1

您可以指定多个源表但只能指定一个目标表（请参阅this question），因此这可能对您无效。但是，如果您的数据是按日期分区的（而不是分片），那么您可以在一个命令中复制该表。

我建议您convert the sharded table into a date-partitioned table将有效地将所有分片表复制到新表中。您可以使用以下命令执行此操作：

bq partition old_dataset.table_ new_dataset.partitioned