使用python API和bq load将数据加载到BigQuery

Question

有了新的要求。在GCS存储桶中有大约130多个文件，这些文件需要每天加载到BigQuery上的不同表中。

经过研究，我找到了两个选择。

1）使用“bq load”命令加载（Shell脚本/ Python脚本） 2）创建一个Python API以将数据加载到BigQuery

哪种选择最好。如果我使用Python API，我需要使用APPENGINE来安排它。

除此之外还有更好的选择吗？

谢谢，

Answer 1

但是你这样做，你将创建加载作业。因此，从BigQuery方面来看，选择哪个选项并不重要。

就调度而言，您在Google云端平台上有一些选项：

• App Engine standard environment cron service。
  • 请参阅this example，以便通过Pub / Sub。
  可靠地安排任务
• 您的操作系统在计算引擎实例上的cron或systemd计时器。
• cron job on a Kubernetes cluster，Container Engine。

Answer 2

有一些区别： a) BQ 负载：

-使用特殊字符作为分隔符可能会遇到一些问题，例如 ^ 和 |。

-您不需要服务帐户（您可以使用用户帐户）

-您不能在谷歌云功能上使用它

b) API

-您没有特殊字符问题。

-您可以在谷歌云功能上使用它

-如果你创建了一个 python 脚本，你可以在计划任务上安排它（在 Windows 上）