我有一个Web应用程序,可在浏览器中以Elasticsearch作为后端数据存储显示分析数据。
Elasticsearch处理大约1TB数据并且搜索查询快速发展,一切都很棒。
然后决定将所有服务中的数据添加到应用程序中,接近一个peta字节,然后我们切换到bigquery。[是的,我们放弃了elasticsearch并开始直接查询bigquery]。
我的应用程序的用户现在抱怨查询速度慢,需要花费几秒钟(4〜10〜15),而这通常在一秒钟之前就显示出来。
自然,这应该归咎于这里的大量数据,但是我想知道是否有办法将Elasticsearch带回游戏中,并使Elasticsearch和bigquery很好地一起玩,以便我可以从bigquery中获得存储的数据。仍然保留了弹性搜索的光速搜索。
我确定我不是第一个遇到此问题的人,而是相信我参加bigquery聚会有点晚,因此我应该能够通过解决所有已解决的问题来获得延迟进入的好处。
请先谢谢您的指导。
答案 0 :(得分:1)
这是客户看到的常见模式:
通过这种方式,您的用户将在90%的查询中获得亚秒级的结果,而且如果Elasticsearch在其资源内找不到答案,他们也将能够到达他们想去的任何地方。
我不确定您要获取数据的用户界面是什么-但这就是需要部署此逻辑的地方。
(当然,随着技术的进步,期望连接和速度都有改善)