将数据从bigquery转储到postgresql

Question

我有关于google bigquery的3GB 4-5表，我想将这些表导出到Postgres。阅读我发现的文档，我必须按照以下步骤进行操作。

1. 创建一个工作，将数据提取到Google存储桶中的CSV。
2. 从谷歌存储到本地存储。
3. 将所有CSV解析为数据库

所以在上面的步骤中有任何有效的方法来完成所有这些。我知道第1步和第2步不能跳过没有效率的机会但是在第3步中从网上阅读，我发现这个过程需要2-3个小时。

任何人都可以建议我这样做的有效方法

Answer 1

制作一个示例项目并查看您获得的时间，如果您可以接受这些时间，那么优化还为时过早。如果你有1Gbit的互联网接入和服务器在SSD上运行，我认为这可以在大约3-5分钟内完成。