我是BigQuery和BigQuery的Python API - 处女。
我的任务是:使用BigQuery和Python API从google open dataset 中提取数据,将数据加载到MySql / PostgreSQL本地数据库(我的PC上安装的数据库)
我看到的方式(在我2小时的研究之后)是: 将数据拉入本地csv文件(using this kind of a sample code),将文件中的数据加载到数据库中。
这是否与执行任务的方式相似?
如果没有,请您提供一些建议/指示?
提前致谢。
答案 0 :(得分:1)
API方法
您在上面列出的步骤是正确的。总之,开发人员会:
使用BigQuery API的“Jobs: insert”方法插入数据提取作业 - 这会将数据发送到Google云端存储分区。
使用Google Cloud Storage API的“Objects: get”方法在本地下载文件。
为了额外的功劳,我会使用“Tables: get”方法查询原始BQ表以获取原始BigQuery表模式,并使用它来构建MySQL导入步骤的模式。
WEB UI方法
为什么不使用Google BigQuery Web UI运行您需要的任何查询,然后通过用户界面将数据导出到Google云端存储桶?你为什么需要使用Python?