Question

我正在尝试使用App Engine批量加载程序从数据存储区下载实体（如果重要的话，则是高复制的实体）。它有效，但速度很慢（85KB / s）。是否有一些神奇的参数我可以传递它以使其更快？我收到大约5MB /分钟或20,000条记录/分钟，并且考虑到我的连接可以达到1MB /秒（并且希望App Engine可以提供更快的速度），必须有更快的方法。

这是我当前的命令。我尝试过高数字，低数字和每个排列：

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

我已经尝试过了 App Engine Bulk Loader Performance 它并不比我已经拥有的更快。他提到的这个数字与我所看到的数字相当。

提前致谢。

Answer 1

您是否在试图下载的实体的密钥上设置了索引？我不知道这是否有帮助，但请检查下载开头是否收到警告，说明“使用顺序下载”

将它放在index.yaml上，以便在实体密钥上传时创建索引并等待构建索引。

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc

如何加速App Engine批量下载？

1 个答案: