Ec2 + Hadoop for Java app

时间:2011-11-12 09:20:49

标签: java amazon-ec2 hadoop

我需要实现一个分布式CPU密集型,基于java的作业。不涉及数据库,每个作业都有一个简单的文本文件。所有都将在EC2上运行。

我正在寻找一个框架,可以轻松启动实例,在那之间分配作业,收集结果等等。几乎所有时间JAR文件都将保持不变,主要是每次运行之间的参数更改。 整个事情应该是非常有活力的。即每个完整周期不会超过15-20分钟,所以我希望每次运行都有一个快速的设置时间。

你的建议是什么?

谢谢,

ý。

1 个答案:

答案 0 :(得分:0)

看看Whirr,http://whirr.apache.org/。 它运行在几乎所有的云上。

以下是如何使用Whirr在EC2上运行Hadoop集群并开始工作。 http://whirr.apache.org/docs/0.6.0/quick-start-guide.html