在Google应用引擎上运行hadoop?

时间:2011-08-18 15:31:27

标签: python google-app-engine hadoop mapreduce

是否可以在Google应用引擎上运行map reduce作业?

任何参考或教程都会有所帮助

由于

4 个答案:

答案 0 :(得分:7)

排序。

您不能使用实际的MapReduce框架 - 该架构与AppEngine太不兼容。

但是,有一个专门为GAE建立的系统 - appengine-mapreduce。该站点有点令人困惑,因为代码的第一个版本仅支持映射器,没有后续的reduce步骤 - 最近他们发布了一个具有完全mapreduce支持的版本,但是一些文档仍然引用了早期的mapper-only。 / p>

最佳介绍是GoogleIO talk from Mike Aizatskyi

答案 1 :(得分:0)

您无法在Appengine上运行Hadoop(也无法访问文件系统)。

您可能需要检查AWS ElasticMapreduce。它是一个基于云的平台,用于运行Mapreduce作业。

ElasticMapreduce

答案 2 :(得分:0)

答案 3 :(得分:0)

看到这个Google Cloud Platform广告:
Google Compute Engine虚拟机上的Hadoop
https://cloud.google.com/solutions/hadoop