bigquery-api-go-client,bigquery流插入延迟

时间:2016-08-19 14:13:42

标签: go google-api google-bigquery google-api-client

有没有一种最佳方法可以通过golang客户端提高对insertAll请求的请求速度?

我目前的结构如下:

  1. 行提交到队列
  2. 在达到工作规模后,新工作排队(大约250行)
  3. 工作人员从队列中选择一份工作
  4. 工作者格式+将insertAll请求发送到BQ
  5. 以上情况相当不错,但我似乎每250行请求的平均时间为8-12秒。

    我应该提到使用的工人数量通常为200,但是我尝试了更高/更低的值,但似乎并没有太大差别(通常每个工作需要更长的时间)。

0 个答案:

没有答案