一段时间后,Bigquery作业加载速度减慢

时间:2015-08-10 22:46:56

标签: google-bigquery

我将客户日志文件(csv格式)通过C#应用程序不断上传到10个不同项目和10个不同表中的bigquery。

这是一个追赶加载过程。我一直从服务器下载文件并每5分钟生成一次bigquery加载作业请求,然后发送到bigquery。

我也同时发送请求(每次请求25次,等待任何请求先完成,我生成一个新任务来处理请求,大约100请求5分钟)它工作正常1小时(0.4344请求/秒)。然而,在1~2小时后,加载速度急剧下降(0.0256请求/秒)。是否有任何特殊原因发生?

如何避免缓慢加载? 这是我可以提供的2个示例作业ID:job__ITLp_FzYf1gPvy9HhAwkQ42N3A  job_4OoXPA4mGRBADX5LaVOrReecOyc

由于速度下降,似乎所有工作在2小时后都保持延迟。

如果我可以向我的问题提供任何详细信息,请告诉我。我对Bigquery和Google云端应用程序都很陌生。非常感谢。

1 个答案:

答案 0 :(得分:0)

加载作业用于批量数据导入,并且可能具有可变速度,具体取决于整体系统负载。

如果您希望持续低延迟地接收少量数据,请考虑使用我们的流API:

https://cloud.google.com/bigquery/docs/reference/v2/tabledata/insertAll