定期安排从GCS向BigQuery加载数据

Question

我已经对其进行了研究，目前提出了使用Apache Airflow的策略。我仍然不确定如何执行此操作。我得到的大多数博客和答案都是直接代码，而不是为了更好地理解它的一些材料。另外，请提出是否有一个好的方法。

我也得到了答案，例如将Background Cloud Function与Cloud Storage trigger一起使用。

Answer 1

您可以使用BigQuery的Cloud Storage transfers，但请注意，它仍处于测试版中。

它使您可以选择在有一定限制的情况下安排从Cloud Storage到BigQuery的传输。

Answer 2

  

我得到的大多数博客和答案都是直接代码

Apache Airflow带有丰富的UI，可以执行许多任务，但这并不意味着您不应该编写代码来完成任务。

对于您的情况，您需要对Apache Airflow使用BigQuery command line operator

如何进行此操作的好方法可以在此link

中找到