我将客户日志文件(csv格式)通过C#应用程序不断上传到10个不同项目和10个不同表中的bigquery。
这是一个追赶加载过程。我一直从服务器下载文件并每5分钟生成一次bigquery加载作业请求,然后发送到bigquery。
我也同时发送请求(每次请求25次,等待任何请求先完成,我生成一个新任务来处理请求,大约100请求5分钟)它工作正常1小时(0.4344请求/秒)。然而,在1~2小时后,加载速度急剧下降(0.0256请求/秒)。是否有任何特殊原因发生?
如何避免缓慢加载? 这是我可以提供的2个示例作业ID:job__ITLp_FzYf1gPvy9HhAwkQ42N3A job_4OoXPA4mGRBADX5LaVOrReecOyc
由于速度下降,似乎所有工作在2小时后都保持延迟。
如果我可以向我的问题提供任何详细信息,请告诉我。我对Bigquery和Google云端应用程序都很陌生。非常感谢。
答案 0 :(得分:0)
加载作业用于批量数据导入,并且可能具有可变速度,具体取决于整体系统负载。
如果您希望持续低延迟地接收少量数据,请考虑使用我们的流API:
https://cloud.google.com/bigquery/docs/reference/v2/tabledata/insertAll