NoSQL数据库中的性能指标

Question

我正在尝试使用YCSB基准测试工具对NoSQL数据库（即Cassandra）进行基准测试。为此，我显然需要设置性能指标，我将在其中衡量性能。我决定选择Read，write和update。现在我很不确定它们是正确的指标，或者可能是Scale-up，和/或elastic speedup值得选择？请给我一些建议。

Answer 1

您提到了操作延迟（读取，写入，更新）。这绝对是一个非常重要的指标，因此您应该设计测试，以显示在这种情况下延迟如何变化：

• 操作延迟，适用于不同的负载（每秒操作数）。
• 针对不同工作负载的操作延迟（考虑工作负载中不同的混合或操作百分比）。
• （不太重要）不同的关键人气分布的操作延迟。

此外，您可以测试的其他内容包括：

• 弹性加速：在线添加服务器的影响（操作延迟）。
• 容错：使随机服务器失败的影响（操作延迟）。
• 负载平衡：考虑到工作负载中不同的密钥流行度分布和不同的时间局部性，数据库在平衡服务器负载方面有多好。
• 可伸缩性：如何让更多或更少的节点影响操作延迟。在这种情况下，服务器不会在线添加（这将是弹性加速实验）。
• 如果您在EC2上运行实验，那么EC2实例类型（中等，大等）的选择如何影响性能。

此外，考虑使用直方图或箱形图来观察对延迟的影响，因为仅绘制平均值不能让您测量延迟的可变性。

最后，请查看this VLDB paper以获取更多想法。