如何在更大的数据量中使用mongo减少数据获取时间

时间:2013-08-23 06:29:52

标签: performance mongodb

我们有一个拥有3000万'名字'的集合(name_list)。我们将这3000万条记录与400万“名字”进行比较。我们从txt文件中获取这400万个“名字”。

我正在使用PHP和Linux平台。我给'名字'字段索引。我使用简单的'find'来比较mongodb的数据和txt文件的数据 $ collection-> findOne(array('names'=> $ name_from_txt))

我正在逐一比较。我知道在mongodb中不可能加入。有没有更好的方法来比较mongodb中的数据?

操作系统和其他详细信息如下。

操作系统:Ubuntu 内核版本:3.5.0-23-通用 64位 MongoDB shell版本:2.4.5 CPU信息 - 24 内存 - 64G 磁盘3 - 将mongo写入320G的融合i / o磁盘 mongo磁盘上的文件系统 - 具有noatime的ext4,如mongo doc中所述 mongo的ulimit设置更改为65000 readahead是32 使用--interleave选项

禁用numa

当我使用脚本来比较它时,需要大约5分钟才能完成...可以做什么,以便更快地执行并在1-2分钟内完成?有人可以帮忙吗?

0 个答案:

没有答案