并行化CouchDB View Group Indexers

时间:2012-10-02 11:26:50

标签: parallel-processing couchdb

我想知道是否有可能在多台机器的帮助下真正并行化CouchDB的视图组索引?

我想不同的索引器可能能够更新不同的视图,但是很多机器也可以处理单个索引吗?

如何做到这一点?我没有在复制指南或手册中找到任何声明..

2 个答案:

答案 0 :(得分:1)

这听起来像是Cloudant BigCouch的任务。

取自BigCouch的描述。

  

虽然最终用户看起来是一个Apache CouchDB实例,但实际上它是一个弹性集群中的一个或多个BigCouch节点,协同工作以存储和检索文档,索引和提供视图,并提供服务CouchApps。

答案 1 :(得分:1)

过去曾对此进行过调查。问题是,最终,必须以串行方式操作以构建B~树,使得跨索引视图的范围查询是有效的。这是一个繁重的额外磁盘活动,最后处理文档顺序(在单个节点上)是最有效的方法,而不是在最后复制和合并大文件到单个B树。

当您第一次意识到高度可并行的map-reduce算法按顺序运行时,看起来确实很糟糕了!

正如Octavian指出BigCouch通过分割节点来实现这一点,今年这段代码将合并到CouchDB中,这样你就可以充分利用这两个世界。