使Elasticsearch和BigQuery一起工作

时间:2018-10-24 02:58:59

标签: elasticsearch google-bigquery

我有一个Web应用程序,可在浏览器中以Elasticsearch作为后端数据存储显示分析数据。

Elasticsearch处理大约1TB数据并且搜索查询快速发展,一切都很棒。

然后决定将所有服务中的数据添加到应用程序中,接近一个peta字节,然后我们切换到bigquery。[是的,我们放弃了elasticsearch并开始直接查询bigquery]。

我的应用程序的用户现在抱怨查询速度慢,需要花费几秒钟(4〜10〜15),而这通常在一秒钟之前就显示出来。

自然,这应该归咎于这里的大量数据,但是我想知道是否有办法将Elasticsearch带回游戏中,并使Elasticsearch和bigquery很好地一起玩,以便我可以从bigquery中获得存储的数据。仍然保留了弹性搜索的光速搜索。

我确定我不是第一个遇到此问题的人,而是相信我参加bigquery聚会有点晚,因此我应该能够通过解决所有已解决的问题来获得延迟进入的好处。

请先谢谢您的指导。

1 个答案:

答案 0 :(得分:1)

这是客户看到的常见模式:

  • 使用Elasticsearch来显示最近一天/一周的结果-可以容纳Elasticsearch的RAM。
  • 将BigQuery用于其他所有内容。

通过这种方式,您的用户将在90%的查询中获得亚秒级的结果,而且如果Elasticsearch在其资源内找不到答案,他们也将能够到达他们想去的任何地方。

我不确定您要获取数据的用户界面是什么-但这就是需要部署此逻辑的地方。

(当然,随着技术的进步,期望连接和速度都有改善)