Question

我使用gcloud导入工具将数据导入我的Cloud SQL实例。我已将数据分解成较小的块以避免24小时的进口限制。（每个导入有大约1600万行，分为大约16000个导入语句。）我完成了两个导入（每个大约需要2个小时）并导入第三个：

gcloud sql instances import --database mydb mydb-1 gs://data-1/olddata/olddata-2010.sql.gz

运行约90分钟后，它停止并报告错误

ERROR: (gcloud.sql.instances.import) Daily Limit Exceeded

我发现每次进口24小时限制的参考，但没有其他＆＃34;每日限制＆＃34;记录与我可以看到的进口相关。

如果我查看控制台的API部分，我确实看到Google Cloud SQL API的每日限制为每天10,000个请求，而且我已超出此限制。我无法通过使用任何Cloud SQL工具来协调这一点 - 要么我必须做远超过10000个请求，要么远更少。查看v1beta4的Cloud SQL API参考文档，Instances.import文档并不表示它应该运行多个请求（事实上，它根本没有说明配额）。似乎没有任何与从云存储中检索相关的每日限制。

每日限额是多少？
记录每日限额在哪里？
有没有办法让这个限制增加？
实际为导入执行了多少次对Cloud SQL API的API调用？
有没有办法在不超出此限制的情况下进行导入？（我还有大约10个要导入的数据集，而不必将它们分开。）

Answer 1

虽然您可以要求增加配额 - 请参阅此页面（中心部分） - GAE quotas，但可能不需要。有时可以缓解这种情况的是，您可以准确地检查分组数据的处理方式。您使用任何类型的跟踪工具或查看日志？

我发现在这种情况下，根据这些结果手动调整批量大小确实有帮助。另外，这是一次性导入吗？或预计会重演？

Google Cloud SQL导入失败：超出每日限制

1 个答案: