在云端使用jq进行大型JSON文件转换的最佳架构

时间:2019-05-24 12:49:00

标签: google-cloud-platform jq

我想在GCP上自动化一些jq转换,以便每天进行。我的输入来自存储在GCS上的Firebase实时数据库导出,输出也应该存储在GCS中(在BigQuery提取之前)。

我的文件通常解压缩后约为10 GB。做到这一点的最佳方法是什么? (容器?一台VM?如果是哪一台?)。我通常在流式传输模式下,在具有8Gb内存的2017 MacBook上以几分钟(有时更多)运行jq脚本。

谢谢

0 个答案:

没有答案