使用不同的基于分区的数据将批量数据加载到BigQuery分区表中

Question

我想将CSV数据加载到BigQuery分区表中。我的CSV文件包含不同的分区数据。如何将整个CSV文件加载到BigQuery分区表，以便特定的csv分区数据转到BigQuery中的相应分区。

Answer 1

您可以将整个CSV数据加载到临时临时表中，然后使用类型为

的查询

bq query --destination_table=table$20170115 
  "SELECT * FROM temp WHERE part='2017-01-15'"

将适当的数据复制到其分区中。

Answer 2

目前，BigQuery不支持基于数据字段的分区！
所以，显然你不能加载整个CSV并期望它被分区 希望这很快就会改变 - 您可以跟踪相应的feature request

同时，您的一些选择是：

• 处理您在BigQuery之外的csv文件，将一个文件拆分为相应的日期（每个日期一个csv），然后将它们逐个加载到（预先准备好的分区）表的相应分区中

或

• 按原样将整个csv加载到BigQuery中，然后逐个处理/选择进入相应分区（仍然提前准备分区）表

取决于您的具体情况，您可以选择一个或另一个选项 - 您可以自行决定 从BigQuery成本的角度来看 - 第一个选项对我来说似乎更便宜