我可以用不同的语言编写mapper和reducer程序吗？

Question

我觉得在Perl脚本中执行Mapper操作但后来我意识到在Python中编写Reducer会更容易。 Mapper和Reducer可以使用不同的编程语言吗？

Answer 1

从标签中听起来就像是在使用亚马逊的Elastic Map Reduce服务。这个问题在excellent FAQ：

中得到了解答

  

问：Amazon Elastic MapReduce支持哪些编程语言？

     

您可以使用Java来实现Hadoop自定义jar。或者，您可以使用其他语言，包括 Perl ， Python ，Ruby，C ++，PHP，   和R通过Hadoop流媒体。请参阅开发人员指南   有关使用Hadoop Streaming的说明。

换句话说，任何可写入文件的内容都可以在EMR地图或缩小步骤中使用。