将Elasticsearch用作OLAP多维数据集的原因

时间:2016-02-19 19:19:03

标签: elasticsearch reporting olap

乍一看,似乎使用Elasticsearch作为后端,可以轻松快速地构建具有类似枢轴功能的报表,如传统商业智能环境中所使用的那样。

“类似枢轴”我的意思是,在SQL术语中,数据按一到两个维度分组,过滤,按一维或二维排序,并由多个指标聚合,例如总和或计数。

“简单”是指对于足够大的集群,不需要预先聚合数据,这样可以节省ETL和数据工程时间。

“快速”是指由于Elasticsearch近乎实时的功能报告,与传统商业智能系统相比,在许多情况下可以减少延迟。

是否有任何理由,不将Elasticsearch用于上述目的?

1 个答案:

答案 0 :(得分:7)

ElasticSearch是多维数据集的绝佳替代品,我们今天将它用于同一目的。一个 巨大 的好处是,使用多维数据集,您需要知道要在哪个维度上创建报告。使用ES,您只需要输入越来越多的数据,并稍后计算出如何报告它。

在我们公司,我们经常会有数据经历以下生命周期。

  1. 记录写入SQL
  2. SQL中的主键写入RabbitMQ
  3. 我们很快回复客户
  4. 当Rabbit有时间时,它会使用主键来收集我们要报告的所有数据
  5. 该数据将写入ElasticSearch
  6. 建议:如果您认为自己可能需要报告,请从头开始。将1M行插入ES非常容易,更新1M行会带来更大的痛苦。