多日期数据加载到BigQuery Partitioned表

Question

我正在尝试探索BigQuery将CSV文件（Doulbelick展示数据）加载到BigQuery的分区表中的能力。我的用例包括： 1.从谷歌云存储中读取每日（夜间加载）转储（csv），为我的客户（广告代理商）将30个不同的客户端读入BQ。每日转储可能包含前一天/周的数据。应将所有数据加载到相应的每日分区（进入BQ），以便向各个客户提供每日报告。 2.这里的目的是建立一个分析系统，使广告代理商能够随着时间的推移和跨客户运行“趋势和模式”。

我是BQ的新手，因此试图了解它的Schema布局。 我应该创建一个包含每日分区的单个表（保存来自所有50个客户端/ 50个每日加载-csv文件的数据）？是否需要提前创建分区？ 我应该为每个客户创建50个不同的表（按日期分区），以免遇到单个表选项的任何数据共享/安全问​​题吗？ 我的客户希望以最低成本获得简单的解决方案。

Answer 1

如果要使用传输服务（如注释中所述），则无需手动创建表。而转移服务将为您做到这一点。传输服务将安排每日作业并将数据加载到分区中。此外，如果有短暂延迟（2-3天），转移服务仍将获取数据。