我是GAE的新手，我正在尝试快速找到一种方法来检索DataStore中的日志，将它们清理为我的规格，然后将它们保存到一个表中，以便稍后调用我的应用程序中的报表视图。我正在考虑使用谷歌数据流和创建批处理作业（应用程序是python / Django），但文档似乎不适合我的用例，所以可能数据流不是答案。我可以使用BigQuery创建一个python脚本并通过CRON安排，但后来我将不得不应对错误，似乎有更快的方法来解决这个问题。
我们非常感谢任何帮助/想法/建议。
答案 0 :(得分：0)
您可以使用Dataflow / Beam Python SDK开发一个管道，从Datastore [1]读取实体，转换数据，并将表写入BigQuery [2]。要安排此作业定期运行，您必须使用第三方机制，如cron作业。请注意，Dataflow执行自动缩放并执行重试以处理错误，因此您不需要手动解决这些复杂问题。
[2] https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py