DatastoreIO中的缺陷 - 在命名空间内读取类型

时间:2016-07-19 16:18:57

标签: google-cloud-dataflow

哪些步骤会重现这个问题?

为特定命名空间中的某种类添加DatastoreIO读取操作。使用数据存储系统统计表的大小估计和后续拆分算法失败。

预期产量是多少?你怎么看?

DatastoreIO.queryLatestStatisticsTimestamp 我们使用系统表“ Stat_Total ”来检索最新统计信息运行的时间戳。该方法利用了一种常见的方法 DatastoreIO.makeRequest ,它正在应用正在读取的类型的命名空间。由于“ Stat_Total ”驻留在默认命名空间中,因此不会返回任何内容,从而导致无法读取该类型的统计信息的错误。 DatastoreIO回退到使用工作人员来分割查询,这在我们的案例中并不理想。这似乎是一个缺陷。不应将命名空间应用于查询以检索统计信息。

您使用的是哪个版本的产品?什么操作系统? 版本1.6 /默认GCE数据流服务VM

1 个答案:

答案 0 :(得分:2)

感谢您报告此问题。你是对的,我们需要使用" Stat_Ns_Total "何时提供命名空间。我将提交修复程序,它应该在下一个版本(1.7.0)中提供

更新:此问题已修复并在1.7.0

中发布