Google Dataflow中的预留CPU时间

时间:2016-02-08 20:53:16

标签: google-cloud-dataflow

我对Google Dataflow中的保留CPU时间字段有疑问。我不明白为什么它变化如此广泛取决于我的运行配置。我怀疑我并没有解释保留的CPU时间它究竟是什么。根据我的理解,完成我提交的工作需要的是CPU时间,但根据以下证据,似乎我可能会弄错。是否分配给您的工作的时间,无论它是否实际使用资源?如果是这种情况,我如何获得工作的实际CPU时间?

首先,我用一个可变大小的工人池(最多24名工人)来完成我的工作。 this answer

相应的统计数据如下:

Long run config

然后,我使用固定数量的工人(10)运行我的脚本:

Long run stats

统计数据变为:

Short run config

他们从15天到7 小时?怎么可能?!

谢谢!

1 个答案:

答案 0 :(得分:0)

如果你将鼠标悬停在“?”上方在“预留CPU时间”旁边会显示一条弹出消息,它将显示:“每个CPU基于GCE实例的数据流活动总时间。”这表明它不是VM使用的CPU时间。目前,Dataflow不会聚合每台机器的CPU使用率统计数据;但是,您可以使用cloud monitoring API自行提取这些指标。