将数据从BigQuery导出到本地PostgreSQL / MySql数据库

时间:2014-09-13 16:49:46

标签: python google-bigquery

我是BigQuery和BigQuery的Python API - 处女。

我的任务是:使用BigQuery和Python API从google open dataset 中提取数据,将数据加载到MySql / PostgreSQL本地数据库(我的PC上安装的数据库)

我看到的方式(在我2小时的研究之后)是: 将数据拉入本地csv文件(using this kind of a sample code),将文件中的数据加载到数据库中。

这是否与执行任务的方式相似?

如果没有,请您提供一些建议/指示?

提前致谢。

1 个答案:

答案 0 :(得分:1)

API方法

您在上面列出的步骤是正确的。总之,开发人员会:

  1. 使用BigQuery API的“Jobs: insert”方法插入数据提取作业 - 这会将数据发送到Google云端存储分区。

  2. 使用Google Cloud Storage API的“Objects: get”方法在本地下载文件。

  3. 为了额外的功劳,我会使用“Tables: get”方法查询原始BQ表以获取原始BigQuery表模式,并使用它来构建MySQL导入步骤的模式。

  4. WEB UI方法

    为什么不使用Google BigQuery Web UI运行您需要的任何查询,然后通过用户界面将数据导出到Google云端存储桶?你为什么需要使用Python?