在BDB中并行查找多个文件的值

时间:2009-09-15 17:03:20

标签: multithreading hadoop berkeley-db

在BDB中为多个文件并行查找值的最有效方法是什么?如果我有一个Perl脚本一次为一个文件执行此操作,那么在Linux下使用&符号在后台分支/运行该进程是什么?

如何使用Hadoop解决此问题?

线程是另一种解决方案吗?

1 个答案:

答案 0 :(得分:0)

Hadoop与此案完全无关。 Hadoop是一个用于在计算机集群上并行化大型计算任务的系统,而不是用于在单个节点上并行化短期查找。

如果我理解正确,您希望Perl并行查找多个BDB文件中的值。最好通过为bdb调用提供一个回调句柄来完成,该句柄将在请求完成时执行。线程将在C层完成,比在Perl中手动执行更有效。

构建基块:

BDB:http://metacpan.org/pod/BDB

Coro :: BDB:http://metacpan.org/pod/Coro::BDB

AnyEvent:http://metacpan.org/pod/AnyEvent