使用Dataflow的DatastoreIO查询名称空间

Question

使用Dataflow的DatastoreIO时，是否可以查询特定命名空间中的实体？

Answer 1

截至今天，遗憾的是没有 - 由于Datastore QuerySplitter API的限制，DatastoreIO不支持从命名空间中的实体读取，该API用于并行读取查询结果。我们正在内部跟踪此问题，您的反馈对于确定优先顺序非常有用。

如果您的管道从数据存储中读取的实体数量足够小（或者其余处理足够重），那么按顺序读取它们（但并行处理）就可以了，您可以尝试{{3中建议的解决方法}}

您还可以尝试Google Cloud Dataflow User-Defined MySQL Source并使用BigQuery的查询功能或Dataflow的BigQueryIO连接器对其进行处理 - 这些连接没有并行性限制。