我想运行基于BigQuery设置执行某些聚合的日常工作。输出是我写回BigQuery的单个表，在~900M行上约为80GB。我想将此数据集用于在线查询使用模式而不是分析。
始终在特定切片上查询数据，这些切片应易于按主键或辅助键进行分段。我认为在查询性能和分片方面，Spanner可能是一个不错的选择，但是我在如何定期将大量数据加载到其中时遇到了麻烦，以及如何处理＆＃34;切换＆ ＃34;在上传之间，因为它不支持表重命名。
有没有办法以编程方式执行这种批量加载？我们已经在内部使用Apache Airflow进行类似的数据处理和传输任务，因此如果可以在那里处理它，那就更好了。