批量加载Google云端硬盘性能优化

时间:2015-09-25 12:01:36

标签: google-drive-api

我们正在构建一个将文档从其他数据存储迁移到云端硬盘的系统。我们将定期为不同的客户这样做。因此,我们对性能感兴趣,因为它会影响我们客户的体验以及我们的上市时间,因为我们需要进行测试,并等待文件加载延长每个测试周期。

我们有3个驱动器互动区域

  1. 创建文件夹(有很多,可能是30,000 +)
  2. 上传文件(大小与文件夹数量相似)
  3. 递归删除文件结构
  4. 在情况1和2中,我们分别只有2个和3个线程遇到“超出用户速率限制”错误。我们有一个指数备份策略,建议从1秒开始,重试8次。我们在对随机uuid的所有请求上设置quotaUser,试图向服务器指示我们不需要用户特定的速率限制 - 但与我们没有设置时相比,这似乎没有影响quotaUser。

    Number 3目前使用批量查询。 1和2目前使用“正常”请求。

    我正在寻找有关如何最好地改善此系统性能的指导。

0 个答案:

没有答案