要在本地计算机中作为JSON提取的大查询表

时间:2015-09-15 19:16:02

标签: json google-bigquery

我知道如何使用Bq extract命令将表数据提取到云存储,但我想知道,是否有任何选项可以将Big Query表提取为NewLine分隔JSON到本地计算机?

我可以通过CLI将表数据提取到GCS,也可以从WEB UI下载JSON数据,但我正在寻找使用BQ CLI将表数据作为本地机器中的JSON下载的解决方案。我想知道是否可能?

2 个答案:

答案 0 :(得分:3)

您需要将Google云端存储用于导出作业。从here解释了从BigQuery导出数据,还要检查不同路径语法的变体。

然后,您可以将文件从GCS下载到本地存储。

Gsutil工具可以帮助您进一步将文件从GCS下载到本地计算机。

首先需要导出到GCS,然后转移到本地计算机。

如果使用BQ Cli工具,则可以将输出格式设置为JSON,然后可以重定向到文件。通过这种方式,您可以在本地实现一些导出,但它有一些其他限制。

这会将第1000行导出为JSON

bq --format=prettyjson query --n=1000 "SELECT * from publicdata:samples.shakespeare" > export.json

答案 1 :(得分:1)

可以使用BQ CLI直接向本地计算机提取数据,而无需使用GCS。

请参阅我的其他答案了解详情:BigQuery Table Data Export