Question

我一直在使用cassandra-stress工具来评估我的cassandra集群已有一段时间了。

我的问题是我无法理解为特定用例生成的结果。

我的架构看起来像这样：

CREATE TABLE Table_test(
      ID uuid,
      Time timestamp,
      Value double,
      Date timestamp,
      PRIMARY KEY ((ID,Date), Time)
) WITH COMPACT STORAGE;

我在自定义yaml文件中解析了这些信息，并使用了参数n=10000，threads=100，其余的是默认选项（cl=one，mode=native cql3等）。 Cassandra集群是一个3节点的CentOS VM设置。

自定义yaml文件的一些细节如下：

insert:
    partitions: fixed(100)
    select: fixed(1)/2
    batchtype: UNLOGGED

columnspecs:
    -name: Time
     size: fixed(1000)
    -name: ID
     size: uniform(1..100)
    -name: Date
     size: uniform(1..10)
    -name: Value
     size: uniform(-100..100)

我的观察结果如下：

使用n=10000和时间：fixed(1000)，插入的行数为1000万。（10000 * 1000 = 10000000）
行键/分区的数量为10000(i.e n)，其中一次取100个分区（这意味着100 * 1000 = 100000个键值对），其中50000个键值对被处理一次。（这是因为select: fixed(1)/2 ~50％）

输出消息也确认相同：

使用[100..100]分区和[50000..50000]行（分区中总行数为[100000..100000]）生成批次

对于具有与上述相同配置的连续运行，我获得的结果如下：

Run Total_ops   Op_rate Partition_rate  Row_Rate   Time 
1     56           19     1885           943246     3.0
2     46           46     4648          2325498     1.0
3     27           30     2982          1489870     0.9
4     59           19     1932           966034     3.1
5     100          17     1730           865182     5.8

现在我需要了解的内容如下：

这些指标中的哪一个是吞吐量，即每秒插入的记录数？是Row_rate，Op_rate还是Partition_rate？如果它是Row_rate，我可以在这里安全地得出结论，我能够每秒插入近100万条记录吗？关于Op_rate和Partition_rate在这种情况下意味着什么的任何想法？
为什么Total_ops在每次运行中变化如此剧烈？线程数是否与此变化有关？我在这里可以得出什么关于我的Cassandra设置稳定性的结论？
如何确定每个帖子的批量大小？在我的例子中，批量大小是50000？

提前致谢。

Answer 1

行速率是您已插入数据库的CQL行数。对于您的表，CQL行是一个类似(ID uuid, Time timestamp, Value double, Date timestamp)的元组。

分区率是C *必须构建的分区数。分区是在Cassandra中保存和排序数据的数据结构，具有相同分区键的数据最终位于同一节点上。此分区速率等于在时间窗口中插入的分区键中的唯一值的数量。对于您的表格，这将是(ID,Date)

的唯一值

Op Rate 是必须完成的实际CQL操作的数量。从您的设置中，它运行未记录的批次以插入数据。每个插入包含大约100个分区（ID和日期的唯一组合），这就是为什么 OP Rate * 100~ = 分区率

总OP 应包括所有操作，读写。因此，如果您有任何读取操作，那么也将包括在内。

我建议您更改批量大小以匹配您的工作负载，或根据您的实际数据库使用情况将其保持为1。这应该提供更现实的方案。此外，运行时间远远超过100次操作非常重要，以便真正了解系统的功能。当数据集的大小增加超过机器中的RAM量时，会出现一些最大的困难。

Cassandra压力测试结果评估

1 个答案: