将本地csv上传到bigquery - sdk console

Question

我在SDK控制台中使用BQ Shell将csv上传到BQ。如何将本地文件用于数据源＆amp;表架构？这些工具于2017年8月安装，因此我认为是最新版本。

命令我正在尝试（这是模板）： bq load

我有目的地表。

是否存在data_source_uri＆amp;的某个例子？ table_schema在引用本地文件时看起来像？

我使用web ui成功创建了一个表，但它有10M文件的限制和现在我想放一张更大的桌子

Answer 1

如果您运行bq load --help，您可以很好地了解如何根据需要使用此命令。有关更多信息，您可以查看描述与加载资源关联的每个方法的docs。

将文件从磁盘加载到BQ的示例：

bq load --skip_leading_rows=1 dataset.test1 test.csv schema.json

test.csv：

user,id
'user1',1
'user2',2

schema.json：

[{"name": "user", "type": "STRING"}, {"name": "id", "type": "INTEGER"}]

您也可以这样从GCS加载文件，如下所示：

bq load dataset.table gs://bucket/folder/*.csv schema.json

至于理解如何定义模式，我尝试编写一种指南here，希望它很容易贯彻并掌握如何定义它们。