我知道如何使用Bq extract命令将表数据提取到云存储,但我想知道,是否有任何选项可以将Big Query表提取为NewLine分隔JSON到本地计算机?
我可以通过CLI将表数据提取到GCS,也可以从WEB UI下载JSON数据,但我正在寻找使用BQ CLI将表数据作为本地机器中的JSON下载的解决方案。我想知道是否可能?
答案 0 :(得分:3)
您需要将Google云端存储用于导出作业。从here解释了从BigQuery导出数据,还要检查不同路径语法的变体。
然后,您可以将文件从GCS下载到本地存储。
Gsutil工具可以帮助您进一步将文件从GCS下载到本地计算机。
首先需要导出到GCS,然后转移到本地计算机。
如果使用BQ Cli工具,则可以将输出格式设置为JSON,然后可以重定向到文件。通过这种方式,您可以在本地实现一些导出,但它有一些其他限制。
这会将第1000行导出为JSON
bq --format=prettyjson query --n=1000 "SELECT * from publicdata:samples.shakespeare" > export.json
答案 1 :(得分:1)
可以使用BQ CLI直接向本地计算机提取数据,而无需使用GCS。
请参阅我的其他答案了解详情:BigQuery Table Data Export