如何下载所有GAE数据存储记录？

Question

我使用GAE bulk loader下载数据存储数据 -

appcfg.py download_data --log_file=bulkloader.log --kind=MyKind --application=s~myappid --url=http://myappid.appspot.com/rmt_api --filename=data_downloaded.csv --db_filename=skip --config_file=bulkloader.yaml

但过了一段时间，我得到了OverQuotaError: The API call datastore_v3.RunQuery() required more quota than is available。这大约是Datastore Read Operations。看起来我应该在第1天下载一些数据，第2天，第3天等等。

我该怎么做？

UPD 即可。 The doc说

  

如果传输中断，您可以从哪里恢复传输   它停止使用--db_filename = ...和--result_db_filename = ...   参数。这些参数是进度文件的名称和   该工具创建的结果文件，您可以使用这些名称   使用开始传输时的参数或默认名称   包括时间戳。这假设你安装了sqlite3，并且   没有使用--db_filename = skip来禁用进度文件。

这是否意味着我可以多次运行appcfg.py download_data ...传递相同的db_filename和result_db_filename值，并且每次都会继续下载剩余记录？我的CSV文件会怎样？它会在文件末尾添加记录吗？

Answer 1

如果您现在在免费配额内运营，除了解决此问题之外，启用结算功能不会改变任何内容。检查已启用结算的配额。除非您的应用看到巨大的流量，否则您很可能不会产生任何费用。

Answer 2

db_filename和result_db_filename的使用允许在几天内下载数据。达到每日限制后，可以停止下载，然后在第二天再次启动 - 它不会再次下载相同的数据，但会继续下载剩余的项目。下载所有数据后（即最后一天）将创建CSV文件。