干adOpt(并行分支和绑定的库) - 可用性

时间:2012-10-30 19:12:34

标签: apache hadoop breadth-first-search hama

我正在尝试实现并行分支并绑定BFS。我有兴趣使用在Dryad LinQ上运行的DryadOpt。有没有人获得DryadOpt。我知道我们可以获得DryadLinQ的学术版本,它也出现在Azure上,但是我有什么方法可以获得DryadOpt。 apache hama可以处理并行分支并绑定BFS

1 个答案:

答案 0 :(得分:1)

尽管Hama可以实现这一点,但使用BSP实现此功能并不高效(您可以分支,但边界需要全局同步)。哈马将来会有这样的结构来实现这一点。

但是知道,我建议你在cloudera的YARN上使用BranchReduce

https://github.com/cloudera/branchreduce

(未测试是否有效,可能只是给他们写邮件)