将多个csv从google cloud上传到bigquery

时间:2013-12-19 03:19:06

标签: google-bigquery google-cloud-storage

我需要从Google存储桶中上传多个CSV文件。在创建数据集时尝试指向存储桶,但是我收到了错误。也尝试了

gsutil load <projectID:dataset.table> gs://mybucket

它不起作用。

我需要一次上传多个文件,因为我的总数据是2-3 TB并且有大量文件

1 个答案:

答案 0 :(得分:4)

你很亲密。 Google Cloud Storage使用gsutil,但BigQuery的命令行实用程序是“bq”。您正在寻找的命令是bq load <table> gs://mybucket/file.csv

bq的文档在这里结束:https://developers.google.com/bigquery/bq-command-line-tool