BigQuery CSV上传速度非常慢

时间:2019-03-01 04:30:13

标签: csv upload insert stream google-bigquery

BigQuery突然将2019-02-26 16:00 UTC速度降低了大约10倍,以便通过API上传CSV来替换CSV。

是什么原因导致上传时间突然增加?曾经花费30分钟的时间现在需要6个小时。

1 个答案:

答案 0 :(得分:0)

由于您的问题很笼统,让我给您一些有关如何继续的指导。
您可以在结果附近的webUI中找到执行计划,也可以从左上方面板的“作业历史记录”中找到执行计划。有关如何打开查询的执行计划的信息,请参见下图。

重要说明:

  1. 您会看到4个颜色阶段,这些阶段显示了执行生命周期,如果“等待”阶段为彩色且未显示为灰色,则表示您正在等待资源
  2. 一个阶段的输出是第二阶段的输入,因此,如果您的输出很大,则可能意味着下一步正在努力完成,关于此的最佳实践很少,可以针对每个特定问题进行描述

enter image description here

  1. 您还可以扩展步骤,查看更多有趣的细节,例如:Shuffeling,Broadcast,Sort等,它们可以帮助您获取有关引擎盖下发生的事情的更多信息

enter image description here

  1. 这是BigQuery URL,其中包含有关执行计划的更多详细信息(请访问Job.get API,以通过API获取执行计划)
  2. 这是BigQuery Limit信息