如何将查询（导出数据）从Google Big Query安排到外部存储空间（例如：Box）

Question

我阅读了许多有关将查询调度到Google Big Query中的外部存储位置的文章和解决方案，但它们似乎并不清楚。

注意：我公司仅订阅Google Big Query，而没有订阅完整的云服务（Google Cloud Platform）。

我知道如何手动执行此操作，但是由于每周需要相同的数据，因此我希望实现该过程的自动化。

任何建议将不胜感激。谢谢。

Answer 1

选项1

您可以使用Apache Airflow，该选项提供了使用BigQuery运算符在BigQuery上创建计划任务的选项。

您可以在此link中找到开始进行设置所需的基本步骤

选项2

您可以像从webUI一样使用Google BigQuery command line导出数据，例如：

bq --location=[LOCATION] extract --destination_format [FORMAT] --compression [COMPRESSION_TYPE] --field_delimiter [DELIMITER] --print_header [BOOLEAN] [PROJECT_ID]:[DATASET].[TABLE] gs://[BUCKET]/[FILENAME]

一旦开始工作，您就可以使用自己喜欢的任何计划流程来计划这项工作的运行

顺便说一句：Airflow有一个连接器，使您可以运行命令行工具

在GCP中保存文件后，您可以使用Box G suite integration查看和管理您的文件