如何有效地将BigQuery表迁移到本地Postgres？

Question

我需要将表从BigQuery迁移到本地Postgres数据库。

我如何有效地实现这一目标？

一些想法即将出现

1. 我将使用Google API从表中导出数据
2. 将其存储在本地
3. 最后，导入到Postgres

但是我不确定是否可以对TB中的大量数据进行处理。另外，如何使该过程自动化？我可以使用詹金斯吗？

Answer 1

从BigQuery导出数据，进行存储并将其导入PostgreSQL是一种很好的方法。您可以考虑以下两种其他选择：

1）有一个PostgreSQL wrapper for BigQuery，可以直接从BigQuery查询。根据您的情况，这可能是最简单的数据传输方式。但是，对于结核病而言，这可能不是最佳方法。该建议由@David在此SO question中提出。

2）使用Dataflow。您可以使用Apache Beam进行传输以创建ETL流程。看看transferring data from BigQuery to CloudSQL的此方法。您可能需要对其进行调整以适合本地PostgreSQL，但是这个想法仍然存在。

这是另一个SO answer，它提供了有关此方法的更多背景信息。