搜索并汇总6000行csv / json文档

时间:2017-02-10 14:21:34

标签: json database csv search

我正在寻找一个很好的解决方案来进行全文搜索。 6000行,每行6列。

我目前尝试过Meteor和MongoDB,但是在进行聚合时,我在使用高CPU时遇到了一些困难,并且发布/订阅响应时间非常慢。

我需要搜索多个单词,并对数字字段求和/汇总。

哪些技术值得快速轻松地进行设置?

1 个答案:

答案 0 :(得分:0)

Meteor pub / sub不适合一次发送大型数据集。它专为数据的反应性更新而设计(自动更新数据更改)。

在最佳条件下,此数据以小块的形式通过延迟加载,使用限制发送到客户端,并按需完成。

然而,Mongoldb本身适合在大型数据集中搜索!您可以搜索该主题。

第一个结果是谷歌搜索" mongodb搜索大数据集"退回这些文章:

https://www.mongodb.com/big-data-explained

http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

这可能是一个起点。

然后,您可以尝试在meteor的服务器端坚持使用搜索/聚合,并将仅将结果返回给客户端(使用延迟加载机制)。

关于你的CPU负载,你也可以考虑第一篇文章和解决方法"贪婪的查询":

https://docs.mongodb.com/manual/core/query-optimization/