集群可用于使用Hadoop / MapReduce框架

时间:2011-03-16 21:36:57

标签: mapreduce cluster-computing distributed-computing

有没有人知道任何对公众开放且使用Hadoop / MapReduce框架的免费可访问群集?有很多关于如何使用MapReduce的教程,但是有没有办法在不使用本地单机并安装所需框架的情况下测试这些示例?

谢谢!

4 个答案:

答案 0 :(得分:5)

Amazon EC2已经准备好按时间租用Hadoop群集,即使是玩游戏也不是很贵。其他方法是使用Cloudera Hadoop VM http://www.cloudera.com/downloads/virtual-machine/。您可以在多个虚拟机上运行群集。

答案 1 :(得分:1)

我很快就会有一个解决方案 - 它不是免费的,但它非常便宜。

我已经建立了一个小型集群,用于培训和教育(通过网络访问),并将于2013年5月上线。 我将出租4节点集群,每天2美元或每周10美元。

由于集群不是很大,它只能处理20-40GB的数据集,但是可以通过完全的Web访问来运行mapreduce,pig脚本。

虽然我要求一些钱,但这不是一项业务 - 只是希望我能支付电费!

http://jyrocluster.com

此致 哔叽

答案 2 :(得分:0)

您还可以使用Apache Whirr在Amazon EC2上部署自己的测试群集。这使您比Elastic Map Reduce更具控制力。如果您仅使用它来测试短时间内的地图减少作业,它应该很便宜。

答案 3 :(得分:0)

您可以尝试CloudxLab。虽然它不是免费的,但它是相当实惠的。它提供了一个完整的环境来练习Hadoop,Spark,Kafka,Hive,Pig,HBase,Oozie,Zookeeper,Flume,Sqoop,Mahout,R,Linux,Python,Scala,NumPy,Scipy,scikit-learn等。你不会有在本地计算机上安装或配置任何软件以使用CloudxLab。许多受欢迎的培训师已经在使用CloudxLab。