卡桑德拉时间序列:允许过滤,桶或其他

时间:2015-04-28 16:10:33

标签: database cassandra time-series data-modeling cql

我知道这里有很多时间序列问题,但我似乎并不适合给定的解决方案。我也是Cassandra的新手,所以我可能会用错误的心态接近这个。忍受我。

我收到以下表格中的搜索数据:

datetime_searched, term_used, product_found

以及我想提出的查询:

  

根据开始日期和结束日期,返回属于该时间窗口的所有期限 - 产品对。最初,窗口将持续一个月。这可能(读:会)改变。

例如,给出以下数据:

2013-11-20 00:00:00, "christmas", "decorated tree"
2014-12-01 20:00:00, "christmas", "wrapping paper"
2014-12-23 15:00:00, "christmas", "decorated tree" (duplicate term-product)

以及2014-12-01到2015-01-01时间范围的查询,我希望能够检索:

"christmas", "wrapping paper"
"christmas", "decorated tree"

我的初始方法看起来像时间序列数据的大多数示例:

CREATE TABLE search_terms (
  datetime_searched timestamp,
  term_used text,
  product_found text,
  PRIMARY KEY (term_used, date_searched)
);

SELECT term_used, product_found
FROM search_terms 
WHERE datetime_searched > [start] 
AND datetime_searched < [end];

但是这需要我有二级索引和/或允许过滤,如果我只捕获被过滤的一小部分数据,这似乎是我应该避免的。

我的第二个想法是创建时间段,但是这个解决方案似乎只有在我将查询限制到存储桶时才有效。它似乎也创造了热点 - 在我最初的情况下,是一个长达一个月的热点。例如,对于每日桶:

CREATE TABLE search_terms_by_day (
  datetime_searched timestamp,
  day_searched timestamp,
  term_used text,
  product_found text,
  PRIMARY KEY (day_searched)
);

SELECT term_used, product_found
FROM search_terms_by_day
WHERE day_searched=[my limited query's bucket];

那么我的选择是什么?我是否将我的请求限制在桶大小,可能会创建许多具有不同桶大小的CF,同时创建热点;我被迫使用二级索引;或者还有其他我不知道的选择吗?

提前致谢。

1 个答案:

答案 0 :(得分:5)

写这个问题有助于我理清我的一些问题。我想出了一个替代解决方案,我或多或少都很满意,但需要进行一些微调。

有可能计算我们需要访问的所有时间桶,使用过滤器查询每个桶以获取我们需要的条目。

CREATE TABLE search_terms_by_day_of_year (
  day_searched int, // 1 - 366
  datetime_searched timestamp,
  term_used text,
  product_found text,
  PRIMARY KEY (day_searched, datetime_searched, term_used, product_found)
);

// Make N of these, with a different day_searched
SELECT term_used, product_found
FROM search_terms_by_week
WHERE day_searched = 51
AND datetime_searched > [start]
AND datetime_searched < [end]

<强>肯定:

  • 避免扫描所有搜索数据
  • 允许更小的时间段,从而减少我们的热点

<强>否定:

  • 需要逻辑来确定所需的分区键
  • 在存储桶期间会有一个写入热点(在上例中,有一天)
  • 与查询范围相关的桶大小选择不当需要查看所有存储桶,否定任何收益。
  • 对数据库的多个查询。桶越小,所需的呼叫就越多。

如果有更好的解决方案,请告诉我