是否存在基于Akka的应用程序可以替换Hadoop设置的情况?

时间:2013-05-08 14:42:46

标签: hadoop akka

从阅读有关Akka和我自己开始使用它的过程中,在我看来,Akka可以比某些应用程序的Hadoop设置更简单。您不会使用HDFS,但是您可以编写一个应用程序,将不同的“映射器”发送出来并将结果发送到“reducer”,并且在VM中设置比Hadoop更容易或者在硬件上,设置的服务更少。 这是合理的还是用于完全不同的两种技术?

2 个答案:

答案 0 :(得分:5)

是的,完全合理。我们使用Akka 2.0建立了一个大规模(1000多名工人)地图缩减系统。 Akka 2.2+甚至更好,因为您可以使用clusteringremote deathwatch功能,而不必自己编写该功能。

请参阅this post,了解它的工作原理。

答案 1 :(得分:0)

Akka集群目前已经成为实验性的,但Akka团队表示它已经或多或少准备好迎接黄金时段,人们正在生产中使用它。我会非常谨慎地朝着这个方向前进,你可能会考虑使用hadoop或使用带有akka和zmq的zookeeper或者用于水平扩展的消息队列。