mapReduce模式的最佳python实现是什么？

Question

MapReduce，一个框架或库的最佳Python实现是什么，可能和Apache hadoop一样好，但如果它只是在Python中，并且在良好的文档记录和易于理解方面最好，完全实现MapReduce模式，高可扩展性，高稳定性和轻量级。

我用谷歌搜索了一个名为mincemeat的人，不确定，但其他人都知道吗？

由于

Answer 1

如果你搜索它们，这里和那里有一些片段。例如Octopy和Disco以及Hadoopy。

但是，我不相信他们中的任何人都可以在成熟度，稳定性，可扩展性，性能等方面与Hadoop竞争。对于小案例他们应该足够，但对于更“光荣”的东西，你必须坚持Hadoop的。

请记住，您仍然可以使用python / jython在Hadoop中编写map / reduce程序。

编辑：我最近遇到了mrjob。这看起来很棒，因为它简化了编写map / reduce程序然后在Hadoop或Amazon的Elastic MapReduce平台上启动它们的方法。通过好消息的文章是here

Answer 2

您还应该看看Mrs：http://code.google.com/p/mrs-mapreduce/

它特别适用于计算密集型迭代程序。