将Google BigQuery的查询结果提取到AWS s3中

Question

我正在检查是否有更好的方法在Google BigQuery上运行查询并将结果导出到AWS S3。阅读一下我看到有一种方法可以按照以下步骤操作：

• 将查询结果导出到外部表
• 将创建的表格移至Google云端存储
• 将文件从Google云端存储移至AWS S3

但我的问题是，有没有办法避免外部表创建，只是将查询结果移动到GCS？还有另一种聪明/正确的方法吗？

感谢您的帮助。

Answer 1

BigQuery中支持导出查询结果（但是？） - 所以对于你来说，只有首先实现结果的方法（它是你所谓的导出查询结果引用到外部表）。

另一种可能的方法是使用BQ API并使用tabledata.list读取表 - API ref - 因此，如果您的查询结果很小（MB），则可能更容易移动数据。但即使在这种情况下，您也需要在新表中实现结果 - 但不需要导出到GCS。