JVM(令人尴尬)并行处理库/工具

时间:2010-03-24 15:51:49

标签: java clojure parallel-processing jvm embarrassingly-parallel

我正在寻找能够在群集上轻松运行(正确编码)令人尴尬的并行JVM代码的东西(这样我就可以使用Clojure + Incanter)。

我过去曾使用Parallel Python来做到这一点。我们有一个新的PBS集群,我们的管理员很快将设置使用PBS作为后端的IPython节点。这两个系统都使得在集群中运行某些类型的代码几乎是明智之举。

我错误地在过去使用Hadoop(Hadoop不适合我使用的那种数据) - 延迟甚至小的运行执行1-2分钟。

JPPF或Gridgain更适合我需要的吗?这里有没有人有任何经验?还有什么可以推荐的吗?

4 个答案:

答案 0 :(得分:3)

答案 1 :(得分:2)

据报道,Clojure可以在Terracotta上运行,但需要进行一些修补。

答案 2 :(得分:1)

查看Skandium

编辑:

上面的链接不再有效,所以添加github链接

https://github.com/mleyton/Skandium

答案 3 :(得分:0)

我建议您查看Skandium,可以根据要求与开发人员协商GPL的替代许可。