我们正在研究促进大规模并行数据处理的解决方案。我们的处理图通常相当复杂,因此像Pervasive DataRush这样的完善的运算符框架提供了方便。有没有人知道Pervasive的任何替代解决方案? DataRush是Java,但我想考虑可以使用这些解决方案的所有平台和语言。
答案 0 :(得分:1)
不确定你是否从hadoop / map-reduce这样的东西中获得了实用性。这就是他们似乎比较自己的营销抵押品。当然,他们也声称他们是一个更好/不同的解决方案。
答案 1 :(得分:0)
Pervasive DataRush利用多核服务器和集群上的细粒度并行性。 随着2011年2月2日V5.0的发布,Pervasive DataRush现在支持所有JVM languages,包括Java,JRuby,Python和Scala。它还支持与Hadoop / MapReduce的集成。它是对Hadoop的补充。
答案 2 :(得分:0)
查看https://github.com/rfqu/df4j - 简单但功能强大的数据流库。有Actor和其他数据流构造。但它缺乏持久性,但与NIO2异步通道接口