Google Bigtable性能：QPS与CPU利用率

Question

我正在测试一个小的Bigtable集群（最少3个节点）。我在Google控制台上看到，当写入QPS级别接近10K时，CPU利用率接近建议的最大值~80％。

根据我的理解，QPS指标适用于整个实例，而不适用于每个节点？在这种情况下，为什么达到CPU阈值，而从技术上讲，实例的QPS负载仅为30K指导最大值的1/3？我只是想通过我的数据上传程序（通过数据流完成）了解某些内容是否已关闭。

还好奇为什么我从未设法观察到接近30K写入/秒的任何事情，但我怀疑这是由于数据流方面的限制，因为我在试用期间仍然仅限于8 CPU报价。

Answer 1

CPU图表显示了确定Bigtable过载的确切指标。不幸的是，由于我们添加了批量写入API，因此QPS不是确定过载根本原因的理想指标。 Bigtable / Dataflow加载使用cloud bigtable批量API，它在一个批处理中发送多个请求，1个查询现在可以有几十个更新请求。每秒更新的行数将是一个更好的指标，但是它在Cloud Bigtable方面尚不存在。 Cloud Bigtable步骤中的Dataflow UI中存在等效指标，您可以使用该数字来判断Cloud Bigtable性能。

我使用的经验法则是在写入时每1个Cloud Bigtable节点有~3个Dataflow工作CPU。您的作业很可能已正确配置了8个CPU和3个Bigtable节点。根据您的描述，我认为您的系统尽可能高效地工作。