来自列的BigQuery日期分区

Question

我正在尝试理解如何从包含多天数据的csv文件加载日期分区表。我想我正在寻找一个类似的功能关系数据库提供与它们在特定列上的分区，它负责自动将记录加载到正确的分区。

似乎使用bigquery动态分配分区的唯一方法是使用分区装饰器，这需要我从CSV顺序加载每个记录（因为每一行的日期可能不同）或首先写一个etl将csv拆分为单独的文件。

我在这里错过了什么吗？

Answer 1

现在Google推出了Partition by field功能。您可以使用任何日期或日期时间类型字段进行分区

Answer 2

目前，BigQuery不支持对特定列进行分区，但这是一项请求很高的功能vote here和here。

正如您所说，在分区中加载数据的唯一方法是使用分区装饰器。为此，您可以将CSV外部处理为几天，并使用每个分区的单独加载作业将每天加载到其自己的分区中。

或者您加载未分区的完整CSV，然后稍后通过单个查询创建分区脚本 - >将结果写入专用分区，如in details here所述。