我们的数据存储区中有一个来自appengine app的大型数据集。现在我想对它们做一些ETL以将它们推向bigquery,我想到了使用Dataflow批处理作业。
我找到的所有示例都使用此类来查询数据存储区:
import com.google.api.services.datastore.DatastoreV1.Query;
这确实有效。但是,我对这个DatastoreV1 API并不熟悉,并且想要使用appengine SDK提供的API,如下所示:
import com.google.appengine.api.datastore.Query;
问题是DatastoreIO不接受这些查询:
PCollection<Entity> projects = p.apply(Read.from(DatastoreIO.source().withQuery(q).withDataset(DATASET_ID)));
它只会占用DatastoreV1.Query对象。有没有办法使用应用引擎提供的API?我对这些电话更加熟悉。更好的是,如果我们可以使用Objectify,那将是非常棒的:)
谢谢!
答案 0 :(得分:0)
目前的API实现无法做到这一点。我们可以看一下添加功能,并乐意接受拉取请求来扩展当前功能。 AppEngine团队还积极致力于提高SDK与数据存储API之间的互操作性。