加载多个文件

时间:2012-05-04 08:55:37

标签: google-bigquery

以下是按预期工作的。

./ bq --nosync load -F'^' - max_bad_record = 30000 myvserv.xa one.txt ip:string,cb:string,country:string,telco_name:string,...

1)但是如何在同一个命令中发送两个csv文件one.txt和two.txt?

2)我不能cat文件然后管道到bg命令?

3)nosync是什么意思?

2 个答案:

答案 0 :(得分:6)

  1. 不幸的是,你不能(还)使用相同的命令上传两个文件;你必须两次运行bq。 (但是,如果您要从Google云端存储中加载数据,则可以指定多个以逗号分隔的gs://网址。)

  2. 不,bq还不支持从stdin读取上传数据,不过这对未来版本来说是个好主意。

  3. 如果您只是运行“bq load”,bq将在服务器上创建一个加载作业,然后轮询完成。如果指定--nosync标志,它将只创建加载作业,然后退出而不进行轮询。 (如果需要,您可以使用“bq wait”单独轮询完成。)

答案 1 :(得分:0)

对于1),正如Jeremy所说,你不能在同一个命令中一次导入两个本地文件。但是,您可以对同一个表启动两个并行加载 - 加载是原子的,默认情况下附加,因此这应该可以执行您想要的操作,并且可能比在单个作业中导入两者更快,因为上载将并行发生。 / p>