如何使用Dataflow执行Cloud Datastore实体的迁移？

Question

我目前正在使用单个机器执行迁移，该机器按顺序运行并从命名空间中读取实体，这对我来说很痛苦。是否可以使用Google Cloud Dataflow更轻松地执行迁移？

Answer 1

您应该能够使用DatastoreIO来操纵记录并并行处理它们。

PCollection<Entity> entities = p.apply(
     Read.from(DatastoreIO.read()
         .withDataset(datasetId)
         .withQuery(query)
         .withHost(host)));
p.apply(<Your transform>)
p.apply(DatastoreIO.writeTo(dataset));
p.run();

自Dataflow SDK for Java 1.2.0起，添加了对查询和编写数据存储区Entities in namespaces的支持。