如何在数据流中使用appengine Datastore API?

时间:2016-01-06 08:43:03

标签: google-app-engine objectify google-cloud-dataflow

我们的数据存储区中有一个来自appengine app的大型数据集。现在我想对它们做一些ETL以将它们推向bigquery,我想到了使用Dataflow批处理作业。

我找到的所有示例都使用此类来查询数据存储区:

import com.google.api.services.datastore.DatastoreV1.Query;

这确实有效。但是,我对这个DatastoreV1 API并不熟悉,并且想要使用appengine SDK提供的API,如下所示:

import com.google.appengine.api.datastore.Query;

问题是DatastoreIO不接受这些查询:

PCollection<Entity> projects = p.apply(Read.from(DatastoreIO.source().withQuery(q).withDataset(DATASET_ID)));

它只会占用DatastoreV1.Query对象。有没有办法使用应用引擎提供的API?我对这些电话更加熟悉。更好的是,如果我们可以使用Objectify,那将是非常棒的:)

谢谢!

1 个答案:

答案 0 :(得分:0)

目前的API实现无法做到这一点。我们可以看一下添加功能,并乐意接受拉取请求来扩展当前功能。 AppEngine团队还积极致力于提高SDK与数据存储API之间的互操作性。